定量和定性测试

定量测试和定性测试的区别是什么, 以及为什么两者在可用性测试中都很重要?

收集数据来改进用户体验设计是一个永无止境的需求, 从小型初创企业到大型企业. 关于什么有很多有益的争论 UX research or usability testing methods should be used, and when.

When it comes to 定量与定性研究,最佳实践建议将定性和 quantitative approaches to capture a holistic perspective. The challenge, however, 如何将两者结合起来才有性价比呢, 以高效的方式获取数据,以驱动以用户为中心的设计.

What’s the difference?

定量方法和定性方法之间的差异通常用硬与软等对比术语来解释, numeric vs descriptive, statistics vs insights, measure vs explore, what vs why, UX vs GUI. 如果单独使用而不使用其他方法,这些快速对比有助于突出每种方法的优点和局限性.

 

Orange-Book

Qualitative tells stories.

At the core of user experience is the subjective, 个人用户基于情感的反应——网站给访问者的感觉. 这些感觉可以从高兴、印象深刻、着迷,到困惑、沮丧和愤怒. All these welling emotions, and the ones in between, 有一个共同点:他们不会出现在数字中.

定量数据可以告诉你人们访问了哪些页面, and how long they stayed, 他们从哪里来,到哪里去, but the story itself is missing; the feelings aren’t there.

用户点击了你的注册页面,然后没有注册就离开了——这让他们无法继续? 用户在主页上停留了这么长时间, 是因为精彩的内容吸引了他们的兴趣吗, 或者因为他们在“关于”部分里徒劳地搜索? When someone clicks to a new page, 他们是否离目标更近了一步,或者他们是否发现他们把页面错当成了它没有提供的东西?

听用户讲述他们的旅程, 聆听他们浏览网站时的反应, fills in those blanks. The ups and downs, the irritations and confusions, the aha moments, 完成任务的满足感, all come together to tell a story, 你的设计中最好和最坏的东西就像红外护目镜下温暖的身体一样显眼. 定性反馈在定量数据无法揭示的层面上告诉DET365“为什么”.

 

Orange-Map

Quantitative gives context.

定量反馈可以让你在更大的背景下了解网站的可用性.

与定性信息不同,它可以用来进行简单、可靠的比较. User testing tools like SUS (System Usability Scale), the SEQ (Single-Ease Question), 测量和量化可用性的任务持续时间和完成率可以映射出个人的用户体验, 图表的可用性随着时间的推移而增加或减少, 并展示你的网站与其他网站相比的表现.

因此,定量数据具有独特的说服力. 它向利益相关者和决策者展示了什么是有效的,什么是无效的, and demonstrates, with numbers, 不可否认的业绩差距. 这使它有能力加强和证明定性结果. 然后,它可以用来为新的设计冲刺设定可预测的目标.

 

Orange-Beakers

定性和定量相结合的研究

获得定量数据的挑战在于,它需要规模才能让数字有意义. But user testing 是一种依赖视频数据的研究方法,而视频分析很难规模化吗.

关键是要读懂量化数据的字里行间. 视频可能不能很好地扩展,但如果你知道 如何使用你收集的所有可用性测试数据它更容易处理,即使在大范围内也可以有效地解剖.

 

trymyui-usability-testing-video-index-feature

 

Data like task duration or task completion 不仅仅是统计数据或基准来显示更高的水平吗. 哪项任务完成时间最长? Which could not be completed? Was it longer than you expected? Look for users whose times/completion scoring stand out from the rest; an unusually long task duration could indicate a user who struggled with the task.

这两个统计数据甚至提供了一个快捷时间戳,可以立即在任务时间戳上启动用户视频,这样研究人员就可以快速找到问题的根源.

现在你有了一个处理任何大量视频数据的起点:而不是随机选择一个用户视频并从头到尾观看, pick the user that struggled most, 然后直接跳到他们遇到麻烦的任务.

 

Orange-Film-Reels

 

当你开始结合其他形式的数据时,你可以编制你的视频剪辑列表来观看.

Task completion rates and task usability 像简单问题(SEQ)这样的方法可以帮助你确定体验中最困难的部分, 哪些用户发现某些任务很难甚至不可能完成.

System usability scores like SUS or PSSUQ 指出哪些用户在网站上的整体体验最差(和最好). 如果你要从头到尾看视频的话, 这些可能对你的时间投资最有用.

UXCrowd是一个众包可用性工具,它通过投票来显示用户对网站的喜欢和不喜欢. These results can help you identify which parts of the test videos to focus on; you can also compare UXCrowd responses to written survey responses to see what else users had to say about those issues.

Now, 使用你的定量数据来创建一个初步的框架来分析你的研究, 你有一个精简但高度针对性的视频剪辑列表可以观看, 它可能看起来像这样:

  • 用户有最好的和最差的体验
  • 最难的1-2个任务来自任务评分最差的用户
  • 某些用户的任务持续时间异常长
  • 任务包含在UXCrowd中发现的问题
  • 用户在书面调查中有有趣的反馈

在研究了你这么多数据之后, 你可以根据到目前为止所看到的内容来决定是否要观看其他视频.

注册一个免费试用,启动你的第一个定性 & quantitative usability study!

Get started    

Request a demo

Related reading:

Trymata and Loop11

为了帮助你进行可用性研究, TryMyUI and Loop11’s partnership can come in handy. 当Trymata和Loop11同时使用时, designers, 研究人员和营销人员拥有一套强大的工具来优化网站和用户体验.

Quantitative research with Loop11TryMyUI-and-Loop11

Broadly, 定量研究可以通过捕捉用户行为的“是什么”来提供路径和性能分析. Loop11是一个远程可用性测试工具,通过点击流分析提供真实用户行为的定量测量. Loop11提供了任务完成率等量化指标, number of clicks, time on tasks, and detailed path analysis. To get started, 研究人员使用Loop11来创建任务或问题,然后呈现给真正的用户. Loop11支持无限的任务和问题,最多可以有1000个用户参与. 用户点击流生成的数据自动呈现在实时报告中.

如果研究人员愿意,Loop11的定量测量尤其有用

  • Identify any usability problems
  • 衡量任务的效率和成功
  • 与竞争对手的可用性指标进行比较

Qualitative research with Trymata

In contrast, 定性研究的一个目标是对用户操作或点击流背后的思维过程进行有价值的洞察. Trymata is a remote usability testing software 通过视频录制和用户记录的书面摘要捕捉“客户声音”的平台. As users navigate a website, they “think aloud,当他们完成研究人员提出的任务或问题时,用语言表达他们的想法和反应.

For example, 用户可能会惊讶地发现注册按钮在网站的特定位置. 定量研究跟踪用户点击“注册”以及用户在之前和之后点击了什么. For researchers, 用户感到“惊讶”这一额外的见解增强了对用户行为的分析, 研究人员通过观看由Trymata提供的叙述视频来观察这一第一手资料.

你可以从Trymata的定性反馈中学到什么:

  • 用户体验与用户对事物如何工作的期望相比如何?
  • 为什么用户以这种方式体验网站或产品(带有上下文反馈)

What’s the linkage?

Loop11通过度量和报告提供定量度量, Trymata通过解说视频和调查问题的书面答案提供定性见解. With these two easy-to-use, on-demand testing tools, 任何研究人员或营销人员都可以同时洞察用户行为的“是什么”和“为什么”.

尽管没有一个可用性工具能够提供这种强大的组合, 组合功能可以通过在Loop11中启动一个项目,然后在Trymata中扩展测试过程来复制. 首先,在Trymata上开一个账户.com and Loop11.com. 这两个网站都为第一个项目提供免费试用,以帮助您入门并熟悉过程和结果. 一旦创建了帐户,流程就很简单了:

  • 在Loop11中,创建测试场景,邀请用户参与,并分析指标和报告.
  • 在Trymata上,复制启动Loop11项目时生成的项目URL. 在“创建一个新测试”中,将Loop11项目的URL粘贴到“URL”中.没有必要在“场景”和“任务”部分中重新输入测试场景和任务, 因为该信息已经在Loop11项目URL中捕获.
  • 使用默认的书面调查问题或根据需要定制. 选择测试人员的人口统计数据和数量.
  • Trymata handles the rest, 并将提供每个测试用户浏览网站的视频,并配有“大声思考”旁白. Users will also provide written answers to your survey questions; for example, “你喜欢这个网站的什么??”

That’s it! 让DET365知道这是如何为您工作的.