简单地说

• 5 users for qualitative testing is a proven baseline that will yield the most cost-effective and confident results; 20 users will yield similarly confident results for 定量 testing
•实际用户数量因情况而异(e.g. 任务数量、任务复杂程度、人口统计专业知识等.),并建议对少量初始用户进行测试,以发现最明显的可用性问题
•对比可用性测试的基准范围为10-12,高于单一可用性测试的5-10, 以及提高自信数字达到25而不是20的上限
•由于有了直观可靠的远程用户测试平台,运行可用性测试的成本/效益比从未如此之高

 

使用可用性测试的基线

一旦你决定了 进行可用性测试对任务感觉良好,有合适的平台,还有一个重要的问题…… 我需要多少用户 为了可靠的数据,要花多少钱?

幸运的是, 统计调查工作 已经做了确定多少用户就够了 有信心 在可用性测试结果中. 以下是用户体验设计和研究社区中经常出现的经验法则:

20个用户用于定量研究             

5个用户进行定性研究

因此,这为可用性测试提供了一个很好的基线, 但是社区是如何得出这个数字的呢, 那成本呢?

 

车库门关上了数字7、8和9 TryMyUI

 

数字背后的数字

自20世纪以来,产品研究中就出现了神奇的基准数字, 但在2003年由Laura Faulkner引入UX行业(见她的下表,显示了最小用户数量和发现问题的平均百分比),后来在2006年由Jakob Nielsen仔细研究.

通过与 已建立的网络用户偏差数据, 再加上尼尔森·诺曼集团的额外测试数据, 然后计算去除异常值和误差边际, 尼尔森的调查结果证实了福克纳的20个用户模型提供了可靠的结果.

如果您想全面了解尼尔森的数学,请参阅 相关文章. 为了获得最重要的信息,让DET365继续.

 

图表来自Laura Faulkner. 2003年显示用户对问题发现的比率

用户数量、发现问题的最小百分比和发现问题的平均百分比. 福克纳,2003

 

对20个用户进行定量可用性测试的估算来自于这样的想法 6%的用户是异常值, 20名测试员中的19名应该是可靠的. 尼尔森表示,使用这种方法可以在“一半时间内产生很高的准确度”,在另一半时间内产生“良好的准确度”.

然而,这并不是一个最终的数字 统计数据也有其自身的问题. 事实上,自NN集团以来的多项研究已经在两者之间的任何地方发现了有意义的结果 8至25名测试员.

 

图表来自Rich Macefield. 2009年向参与者展示可用性测试

单一界面研究和比较研究的表现范围. Macefield 2009

 

在上图中, Ritch Macefield举例说明了用单个接口寻找问题的测试之间的关键区别(问题发现研究), 以及比较两个接口的测试(比较研究). 他的研究结果表明,对于任何特定的测试来说,从来都没有一个理想的数字, 但是有, 正如其他人发现的那样, 一个根据任务复杂性而变化的合理范围, 所寻求的问题类型, 人口专家, 以及其他典型的异常值.

值得注意的是,就连尼尔森也警告说,不要完全忘记异常值. After all, 当DET365讨论可用性测试时, DET365不是在谈论数据中的小点或小故障, DET365谈论的是 真人与你的设计互动. Instead, 观看这些异常值的测试视频,找出导致性能结果下降的原因.

In 以人为中心的设计, 富有洞察力的数据不仅来自统计数据,还来自更多的地方, and 用户的不满不应被忽视.


阅读更多: 定量测试与定性测试


 

用户在笔记本电脑旁大笑

 

人们背后的数字

对于可靠的定性结果,尼尔森,福克纳,Macefield,和更多的人同意 5个测试员就足够让你自信了 由于在前5项之外的显著结果逐渐减少. 根据尼尔森的研究时,你会学到以下公式:

(1-(1- )

Where N 表示给定网站(或应用程序)上可用性问题的总数 L 表示单个测试人员发现的问题的数量.

在前5个测试中,您可以可靠地识别 85%的可用性问题也就是说,每增加一个用户,就会发现16%的问题. 有趣的是,添加第6个测试人员只会产生大约90%的总体结果. 直到引入15个测试人员,你才能自信地达到100%.

尼尔森考虑到小型企业的预算限制,建议 迭代测试 有5个测试人员帮助 降低费用.


了解更多: 用户测试更好的产品 and 用户测试新产品


 

MAC书旁边的复古打字机试用myui可用性比较

 

可用性测试的成本/价值

尽管这些研究的方法相对健全(如果存在固有缺陷),而且它们提供的数据是行业的基础, 关于成本和价值的简短讨论是缺失的,甚至是误导的. 例如,尼尔森的研究报告开篇写道:

“We can 定义可用性 在质量度量方面, 比如学习时间, 使用效率, 难忘的人, 用户错误, 主观满意度. 遗憾的是,很少有项目收集这些信息 用户测试指标 因为这样做的成本很高:它需要的用户数量是简单用户测试的4倍.”

尼尔森当然是指定量测试相对于定性测试的难度和成本. 然而,2006年(他学习的那年)的技术无法与2019年的技术相提并论. 借助当代可用性测试平台,比如TryMyUI, 对客户来说,成本价值比从来没有这么好过.

We’ve 已经写的 关于远程用户测试的好处以及需要多少时间, 资源, 与传统的用户测试相比,它节省了资金(尼尔森毫无疑问是指这一点)。, 但在DET365强大的力量 定量套件 也有足够的空间 定性分析.

 


See also: 用户体验人群:量化定性


 

有些艺术和深思熟虑的照片,人们坐在酒吧谈话

 

那么我应该使用多少测试人员进行测试?

当考虑一个可用性测试应该有多少测试人员时, 为了更好地了解你的用户体验,DET365通常推荐10个, 20美元几乎是板上钉钉, 呼应参考研究. DET365已经贬低了DET365的平台 plans 在这些数字附近, 并始终如一地看到这些基线,为客户提供他们需要的有洞察力的数据.

在一天结束的时候, 用户体验的价值不容忽视, 即使只有两个用户的测试也会给任何人提供验证进一步测试和研究所需的即时反馈.

 

注册免费试用DET365的可用性测试工具