简而言之
• 5 users for qualitative testing is a proven baseline that will yield the most cost-effective 和 confident results; 20 users will yield similarly confident results for 定量 testing
•实际用户数量因情况而异.g. 任务数量、任务复杂程度、人口统计专业知识等.),并建议测试较小数量的初始用户,以发现最明显的可用性问题
•比较美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜的基线范围为10-12,高于单一美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜的5-10, 并且将达到自信数字的上限从20提高到25
•由于直观可靠的远程用户测试平台,运行美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜的成本/收益比从未如此之好
为你的美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜设定一个基线
一旦你决定了 运行美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜,对任务感觉良好,并且有了合适的平台,一个重要的问题仍然存在…… 我需要多少用户 为了获得可靠的数据,那要花多少钱?
幸运的是, 统计调查工作 已经完成了确定多少用户才足够 有信心 在你的美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜结果中. 以下是在用户体验设计和研究社区中经常出现的经验法则:
20个用户进行定量研究
5个用户进行定性研究
因此,这为美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜考虑多少用户提供了一个很好的基线, 但是社区是如何得出这个数字的呢, 那成本呢?
数字背后的数字
自20世纪以来,神奇的基线数字一直在产品研究中出现, 但在2003年,劳拉·福克纳(Laura Faulkner)将其引入了用户体验行业(见她的下表,显示了最小用户数量和发现问题的平均百分比),后来在2006年被Jakob Nielsen仔细研究.
通过与 关于网络用户偏差的既定数据, 再加上尼尔森诺曼集团的额外测试数据, 然后计算去除异常值和误差范围, 尼尔森的发现强化了福克纳的20个用户模型,提供了可靠的结果.
如果你想全面了解尼尔森的数学,请参阅 相关文章. 要了解主要信息,让美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜继续.
用户数量、发现问题的最小百分比和发现问题的平均百分比. 福克纳,2003
定量美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜的20个用户的计算来自于自 6%的用户是异常值, 20个测试者中的19个在统计上应该是可靠的. 尼尔森表示,使用这种方法将产生“一半的准确度”和另一半的“良好的准确度”.
然而,这并不是一个最终的数字 统计数据并非没有自己的问题. 事实上,自NN集团以来的多项研究已经从两者之间的任何地方找到了有意义的结果 8 - 25名测试员.
单界面研究和比较研究的性能范围. Macefield 2009
在上图中, rich Macefield举例说明了设计用于发现问题的测试与单一界面(问题发现研究)之间的关键区别。, 以及比较两个界面的测试(比较研究). 他的发现表明,对于任何特定的测试,都没有一个理想的数字, 但是有, 正如其他人发现的那样, 根据任务的复杂程度而定的合理范围, 所寻求的问题类型, 人口专家, 还有其他典型的异常值.
同样值得注意的是,即使是尼尔森也警告不要完全忘记异常值. 毕竟, 当美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜谈到美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜时, 美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜不是在谈论数据中的小插曲或小故障, 美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜讨论的是 真人与你的设计互动. 而不是, 观看这些异常值的测试视频,找出导致其性能下降的原因.
In 以人为中心的设计, 有洞察力的数据来自更多的地方,而不仅仅是统计数据, 用户的挫败感不应被忽视.
阅读更多: 定量测试与定性测试
人背后的数字
对于可靠的定性结果,Nielsen, Faulkner, Macefield等人同意 5个测试者足以让你感到自信 由于超过前5个显著的结果逐渐减少. 来自尼尔森的研究,你会学到下面的等式:
N (1-(1- L ) n )
在哪里 N 表示给定网站(或应用程序)上可用性问题的总数和 L 表示单个测试人员发现的问题数量.
在前5个测试者中,您可以可靠地识别 85%的可用性问题,即每个新增用户检测到的问题比例为16%. 有趣的是,添加第6个测试人员只产生大约90%的总体结果. 直到你引入了15个测试员,你才有信心达到100%.
考虑到小型企业的预算限制,尼尔森建议 迭代测试 有5个测试员帮忙 降低费用.
美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜的成本/价值
虽然这些研究的方法是相对可靠的(如果本质上有缺陷),他们提供的数据是行业的基础, 对成本和价值的简短讨论是缺失的,甚至是误导性的. 例如,尼尔森的研究开篇写道:
“美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜可以 定义可用性 在质量指标方面, 比如学习时间, 使用效率, 难忘的人, 用户错误, 主观满意度. 遗憾的是,很少有项目能收集到这样的信息 用户测试指标 因为这样做是昂贵的:它需要的用户数量是简单用户测试的4倍.”
尼尔森指的当然是定量测试与定性测试的难度和成本. 然而,2006年(他研究的年份)的技术与2019年的技术无法相提并论. 借助TryMyUI等现代美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜平台, 对客户来说,成本价值比从来没有这么好过.
美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜已经 已经写的 关于远程用户测试的好处和需要多少时间, 资源, 与传统的用户测试相比,它节省了资金(尼尔森毫无疑问指的是传统的用户测试)。, 但在美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜强大的 定量套件 也有足够的空间 定性分析.
参见: 用户体验人群:量化定性
所以我应该带多少测试员去测试呢?
当考虑到任何美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜应该有多少测试人员时, 美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜通常推荐10个,以便更好地了解您的用户体验, 而20岁则是近乎确定的, 与参考研究相呼应. 美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜设计了美梅高赌博登录-美梅高赌博有限公司-apple app store-美高梅排行榜的平台 计划 大概是这些数字, 并始终如一地看到这些基线为客户提供他们需要的有洞察力的数据.
在一天结束的时候, 用户体验的价值不容忽视, 即使是2个用户的测试也会给任何人提供他们需要的即时反馈,以验证进一步的测试和研究.