耿人杰的网络日志 » 可用性测试

很难找到参与者的可用性测试

耿人杰 — Tue, 03 Nov 2009 04:09:28 +0000

【译者：耿人杰原文：Usability testing with hard-to-find participants 作者：David Travis】

当一个好的测试用户很难找到时

假设你被任命进行一场可用性测试。请问如何解决以下3个有关被测人员招募的问题？这些问题在过去的一年里总是困扰着我。

一个开发人员想要为以高级律师为目标用户的手机应用软件进行一次可用性测试。那么如何使得这些极其忙碌且有权有势的人来进行测试？
一个为飞机头等舱设计躺椅的设计师想要对他的目标用户进行躺椅的控制测试。他如何吸引那些有钱的人来加入他的测试评估？
一个科技公司开发了一个协助找到并跟踪恐怖分子的安全服务。它如何来雇佣间谍测试这款服务？

你显然可以提出一些想法来帮助解决这些很难找到的测试参与者。例如，针对律师测试的开发者可以简单地给愿意参加测试的律师一些钱。或者可以邀请一些头等舱的乘客来参加公司举办的娱乐活动，然后进行一个有关座椅设计的30分钟的测试访谈。但所有进行这些活动的前提是你的荷包要足够的鼓。例如你支付的起律师费476美元。

使用替代参与者

这是另外的一个解决方案。为什么我们不使用能替代他们的测试参与者？这些人可能从不实际使用这些产品，但他们能与目标受众分享一些重要且相关的特性。

一个不是用真实用户进行的可用性测试听起来很扯：“可用性测试就是要用真实的终端用户做测试”。这么熟是因为替代者可能会面临一些真实用户不认为是问题的问题（错误的好的方面）。而真实用户由于某些原因会遇到困难，但有时不会困扰替代者（错误的不好的方面）。

好吧，现在问题已变成：你是要使用替代者进行测试还是无法进行可用性测试？那么，有没有一些替代者相比其他人好一点呢？

从替补的菜鸟中甄别出超级替补

当决定采用替代者后，第一个要问的问题是，“使用这款产品的用户需要怎样的背景知识呢？”例如，对于飞机座位，如果是要测试控制的可用性我们不需要了解使用者是否真的很有钱。虽然标准舱的用户可能没有头等舱旅行的经验，但他们和头等舱用户有同等的认知能力和判断力。因此，使用替代者来测试那些日常的产品的可用性是相当直接有效的。

于此相对的是，如果我们用没有法律知识的替代者为律师来测试上述提到的移动产品，那么我们可能会失去很多正面的、围绕法律范畴的可用性建议。这是因为大律师通常有着普通大众所不具备的背景知识，而使用替代者参与这类的测试就会有问题。

那么如何才能确保我们的替代者和真实用户尽可能的相似呢？你需要那些和你的用户角色相似的参与者,以下是一些有用的建议。

不要使用你的同事

最容易找到的替代者就是你的同事。但在可用性测试中使用内部同事是有很大风险的。这些人可能很了解被测产品的细节或压根就是他们设计的。他们可能会自我陶醉在设计约束中或权衡自身的厉害关系，因此对参加测试并没有很高的期待值。以我的经验来看，内部人员基本上不太适合作为真实用户的替代者。

新进员工

与老员工相比，新员工可能相对来讲并不非常了解产品的历史。他们可能了解一些这些领域的情况但几乎没有有关你的解决方案的细节知识。这就使他们是潜在的好的替代者人选，他们能给你一些“新鲜”的见解。

你需要注意的风险：新员工可能不太愿意以太严苛的评论来对待新东家的产品。你可以预先给他们介绍基本情况来让他们理解你需要的是毫无保留的意见。但他们仍然可能在测试中感到焦虑。因此，需告知他们这是他们展示分析技巧的绝佳机会。

新近退休的专家

如果你因为某些用户太忙而找不到他们，比如律师、医生或公司总裁，那么寻找一些曾经是做这些工作的人。退休的人常常会想念工作并试图寻找一些机会来保持活力。

你需要注意的风险：由于替代者年龄老化的问题，你可能会得到一些错误可用性建议，诸如和视觉敏感度有关等等。但在实际过程中我们发现大多数新近退休的人能和他们的同僚一样拥有敏锐思考力。但如果你的退休外科医生已经远离工作好多年了，他对于工作环境的主观假设可能就是错的。

那些在真实用户身边的人

另外一个好的替代者人选是繁忙商务人士的同事。例如，你能让一个儿科护士来代替一个主任医师来测试某些产品的功能吗？

你需要注意的风险：你的替代者将不会和真实测试者拥有相同等级的背景知识。

学生或他们的老师

与同事相比，同一领域的学生和老师可能在专业上拥有相似的观念。例如，一个实习律师就是一个合格律师较好的替代人选，而医学院的学生也能很好的扮演一个医生的角色。可以考虑与邻近的一所大学建立良好的关系来获得学术资源并接近老师和学生。

你需要注意的风险：你的替代者可能有相关的背景知识，但他们缺乏实际的经历来掌握操作捷径和实践中的折中或妥协办法。

课程培训代表

你的公司会培训用户使用你们设计的软件吗？如果有的话，看看你能否利用到这些课程来做一个大体的可用性测试。向培训代表解释他们有机会参与到下一版产品的设计中来。这是一个非常棒的方式来找到那些最难获得的可用性测试参与者。在我看来，即使像007这样牛X的间谍同样也会需要上培训课的。

你需要注意的风险：参加培训的严格上说都是新手。他们可能拥有正确的背景知识但缺乏实际用户对产品的前期经验。由于你并没有很多时间，因此需要组织一个良好的培训计划，并给对培训代表以合适的激励。他们将是最有机会和用户坐下来喝喝咖啡、吃吃饼干并完成测试的人。

使用替代者的几个基本建议

在你开始使用替代者前，仔细考虑以下几点：

首先，使用替代者只能在某些用户研究中有效。在现场调查中使用替代者就是一个坏主意，这是因为实际用户的使用情景是该研究的重要关键部分。因此使用替代者时需认真选择方式方法，如可用性测试就是一个可用的地方。

其次，不要把它当作避免使用真实用户来评测产品的借口。对大多数产品而言，找到或雇佣真实的用户是相对简单的，因此根本没有必要使用替代者。但即使你的用户很难找到，你也应该努力地创建一个参与者的数据库来为随后的测试做准备。使用真实用户仍然是金科玉律，雇佣他们并不像你想象中的那么难：有时候仅仅需要一些志愿者。这里有几个方法：

在你的网站上放置一个注册表单来招募参与者。
找到用户聚集的讨论版和博客并发出邀请。
写一篇关于产品的报道给杂志，其中包含测试的邀请。
要求用户隶属的社团和专业组织协助招募。
做些合适的研究，在行业大会或交易展上进行测试。

如果通过上述方式每个月只注册一个参与者，这仍然值得为之努力。因为你可以让这些参与者来给你引荐其他人。

最后，当你在任何可用性测试中运用替代者策略时，请至少包含一位真实用户，然后将他或她的结果与替代者做对比。如果发现非常的不同，请重新评估变更设计的风险。

其他你可能感兴趣的:

如何区分可用性问题的优先级

耿人杰 — Mon, 26 Oct 2009 03:26:57 +0000

【译者：耿人杰原文：How to prioritise usebility problems 作者：David Travis】

通常一个可用性测试能反馈超过100个可用性问题。那么如何将所有这些问题分级，使得开发团队能开始做那些最重要的事情？以我的经验，通过3个问题我们就能有效地为所有问题的优先级分成：低、中、高、关键。

用消防龙头喝水

进行一个可用性测试通常被比喻成用消防龙头喝水：你会被来自用户的反馈数据和问题冲垮。虽然你能试图利用自己的判断来决定问题的优先级，但当开发人员来挑战你的优先级观点时你将如何应对？例如他会问到：“为什么这个问题的优先级是‘关键’？我觉得最多是‘中级’吧。”

利用一个标准流程来定义优先级，能让你始终将看待问题的标准保持一致。这也意味着你能提供给任何需要检查你工作的人一个显而易见的评判标准。

事实上，仅仅需要问3个问题，我们就能区分任何可用性问题的优先级。

这个问题会导致red route吗？

Red routes，经常的或关键的任务。在定义上指系统所必须要要提供的重要功能。例如，如果某个你新设计组件的“开/关”按钮不能使用了，那么所有你的用户都将不能正常使用此功能。因为red routes问题涉及所有用户，因此它的优先级较高。

这个问题很难被用户自己解决吗？

一些可用性问题属于项目障碍物：用户自己无法解决它们。例如，如果一个重要的控制功能被隐藏在一个对话框或一个右键点击菜单里，那么这就意味着这项功能对于某些用户来说是不存在的。另外，有些可用性问题很容易有变通方案。所以，那些很难被解决的问题通常优先级更高，因为它们对用户投诉率有较大的影响。

这个问题持续出现吗？

持续性问题常常会突然发生，并因此影响用户完成任务时间及满意度，这显然属更严重的一类问题。一个持续性问题的例子就是网站的链接没有下划线。这意味着用户只能采用类似“扫雷式”的方式浏览页面。这个问题就属持续存在的，因为即使用户知道了解决方案他们仍然不得不去面对这些问题。请记住“持续性”是指问题反复地出现在各种界面上，用户总是在不同的屏幕或页面上遇到这些相同的问题。

我们能把这三个问题通过下面的流程图表现，并帮助你指定优先等级。

点此下载决策树的PDF版本

如何定义严重度等级？

关键级：这一级的问题会让一些用户不能完成他们的任务。请务必立即修复它们。

高级：这类问题极大地降低一些用户完成某些常用任务的效率并促使他们找到一种零时性的解决方案。请尽可能快的修复它们。

中级：这类问题会使一些用户有挫败感或愤怒情绪，但通常不会影响任务的完成。通常在下一个周期的正常升级中改进它们。

低级：这类通常是质量问题，例如一些外观显示问题或拼写错误。注意：虽然这些通常是彼此无关的小问题，但太多“低”级的问题也会导致信任感的负面影响，并由此危害您的品牌。

其他你可能感兴趣的:

通过模拟打电话来改进产品可用性

耿人杰 — Sat, 15 Aug 2009 10:34:39 +0000

【译者：耿人杰原文：The Over-the-Phone Test 作者：Aza（Head of UX for Mozilla Labs）】

在Mozella实验室，我们常使用的一个启发式设计方法叫做“通过电话测试来改进可用性”，尤其是当我们开始以创建更可视化的浏览器为工作目标时，这种方法体现的价值更大。

如果你的朋友一直都认为你很擅长技术，那么我想你一定经历过通过电话向他们解释某一电脑方面的技术问题。可能一些事情很琐碎，很难用通过电话用语言表达，对此我向你表示哀悼。尝试去通过电话给GUI做故障解释就如同去给列车员指明行驶方向一样。

例如，很难给你的祖母解释清楚如何在一个不支持拼写检查的web mail应用里进行拼写检查：

“好的，奶奶，现在选中所有的文本，然后按下Control A”
“然后通过按Control C来复制文本”
“通过开始菜单新建一个Word文件，点击‘所有程序’，然后点击‘Microsoft Office’，最后点击‘Word’”
“通过Control V来把文本粘帖进Word…不，不，不，奶奶，我不知道为什么是‘V’，可能是因为‘P’已经给打印用了吧？”
“点击顶部工具栏那个带有检查图标和信件标志的小图标。你找不到？好吧，描述一下你现在看到了什么。你看到一些像咖啡杯一样的图标？我不清楚那是什么。实际上…忘了它吧。那直接选择‘编辑’菜单里的‘拼写检查’吧”
现在“点击‘开始检查’吧。奶奶，我知道你只想让它开始检查，但我不知道为什么你还要重复一次。”
（奶奶的文档正在被检查…）
“好，现在点击‘完成’，或者可能是‘已完成’。额，不管是什么，点击它吧”
“通过按Control A选择所有内容”
“通过Control C来复制内容”
“切换到你正在写的email界面。什么？你找不到正在写的页面了？让我想想，嗯…把不是写邮件的窗口移开，再好好找找吧。”
“email文本仍然是选中的吗？没有？好吧，那点击下文本的任何地方。”
“通过按Control A选择所有内容”
“通过Control P来把所有的内容粘帖尽量。等等，不对，应该是Control V”
“你已经完成了！很简单吧？”

在以上的每一步都有可能出错，你的心智模型可能无法和电脑的状态相同步，或者你可能记错了按钮的名字。

通过我们的测试，我们问自己，“我愿意通过电话教我的奶奶如何使用这个玩意儿吗？”如果答案是“我会的”，那么我知道我们成功了。如果答案是“可能会”，那么说明我们能做得更好。如果答案是“不，我不愿意”，那么这意味着我们要重新考虑整个事情了。

以上这些是开发Ubiquity的启发式设计方法之一。

其他你可能感兴趣的:

可用性测试中的受众细分

耿人杰 — Fri, 26 Jun 2009 03:21:10 +0000

【译者：耿人杰原文：Audience segmentation recruiting for usability tests 作者：Walt Buchan】

引言：受众细分听的很多。在传统媒体领域，细分主要通过人口统计学指标，通过这个方法可以更好的服务某个细分领域的用户，也可以带来更大经济价值。那在可用性测试中的参与者将如何细分呢？

———————————— 全文的分割线 —————————————

从传统上讲，可用性测试的参与者是以人口统计学（demographic）标准来进行细分的。如，年龄在40-50岁，家庭男女比例1比1且家庭年收入5万的家庭成员。但我们认为有一种的更好的方法来识别细分的受众，并确保测试选中的是真正有代表性的用户。cxpartners以用户想要完成的任务为细分的标准，此标准不包括用户的年龄和收入。

为什么以人口统计学来细分用户测试受众是错的？

用人口统计学来细分受众对传统媒体（如，杂志、报纸和电视）来说是有效的。这种细分方式易于理解，但严格意义上来说这种方式是被动的，应该是用户消费了媒体。当用户使用互联网、手机、电脑游戏，甚至用电脑工作时，他们都是在与媒体进行交互。这种交互不是以受众的年龄和收入来区分的，而是以用户在做的事情为区分标准。

为什么以任务来细分受众是正确的？

我将提供一个受众细分的例子，是关于用户想预定一个旅行的。一对年轻人正考虑去古巴渡假，他们不知道酒店是不是他们想要的那种，所以他们在一个热门评论网站中寻找关于那家酒店的评论。与此同时，一个退休的老人正准确乘船游览加勒比海，他不确定旅行包括什么样餐点，因此他急急走进一家旅行代理进行询问。传统按人口统计学来细分的做法永远不会将这些独立的个体集合起来，但他们确实都想研究某个旅行计划，因此他们确实也是潜在的用户测试候选者。

用户角色也能细分受众

以任务来细分受众中最美妙的就是能将所有的有用材料发展成几个真实的用户角色（personas）。这些用户角色是基于真实的情况而非想象。所以，就像如下典型的用户角色：

“Sara-Jane，37岁，有两个孩子，驾驶一辆二手淡蓝色且保险杠有凹痕的小车，从不看小说但喜欢名人八卦。”

通过用户角色，你可以了解反映用户真实活动的任务是什么，如：

“Savvy Saver，定期在各种最后一分钟交易网站（last minute deal websites）浏览渡假及航班信息，评论这些酒店并发布到最爱的评论网站，阅读电子简报以追踪敢兴趣的信息。”

相比创建一个夸张的单人案例，用户角色可以反映真实用户所展示的广泛而不同的行为模式。

其他你可能感兴趣的:

用户测试：眼动跟踪和出声思考

耿人杰 — Wed, 24 Jun 2009 07:15:08 +0000

【译者：耿人杰原文：User testing:eye tracking versus think aloud 作者：Steve Cable】

同步发文于译言：http://article.yeeyan.org/view/gengrenjie/47337

引言：文章告诉我们在用户测试中何时使用眼动跟踪（eye tracking），何时使用出声思考（think aloud）。对于用户研究人员选择研究方法有一定参考价值。关于什么是出声思考（think aloud），请看这篇：http://qianjigui.javaeye.com/blog/255410

———————————— 全文的分割线 —————————————

在cxpartners，我们既进行眼动跟踪测试（eye tracking），也进行出声思考（think aloud）。作为一个进行过这两种测试的一个顾问，我经常被问及哪个测试得到的结果更好。其实，问题的答案取决于什么是你想寻找的信息。

眼动跟踪是得到那些用户无法告诉你的信息的好方法

（或许是不想告诉你的信息）

观察用户在看哪些东西对于创建高效的页面布局很有帮助。它也能给你提供一些精确的数据：“x个人看到了这个按钮，y个人完全忽略了这部分内容”。

但眼动跟踪不能告诉你为什么参与者看了那些内容。一个经常被关注的页面元素不一定意味着这是一个成功的设计，参与者也可能是由于它的令人费解、对它不喜欢或者某些其他原因而对它保持关注。

这也是出声思考的一个有利之处

通过与用户交谈关于他们为什么如此操作能帮助我们理解他们的想法，并促使我们设计出更有用的产品满足他们的期望。

然而，用户有时所说的可能并不是他们真实所想的。幸运的是，我们已经这样做了许多用户的测试。在这些测试中我们能察觉参与者并没有完整表达他对事物的理解，因此我们会有所准备并想办法进一步获得他的完整想法。

使问题简单化

眼动跟踪是一个通过大量短期测试就获得明确结果的好方法。例如通过测试几个可选的关键页面设计，可以很明确的看到哪个设计表现更好。

而出生思考是通过较少参与者和较长时间做深入调查的好方法，如仔细查看一个大网站或一个订阅/支付流程。

两者很难从本质上说谁更好。所以我们通过和我们的客户一起工作来确认哪个方法更适合这个客户。有时，我们会在项目的不同阶段结合这两种技术来保证得到最好的结果。

其他你可能感兴趣的:

什么是眼动跟踪（Eye Tracking）？

耿人杰 — Tue, 02 Jun 2009 14:25:21 +0000

这是一篇介绍什么是眼动跟踪（Eye Tracking）的短文，也是眼动仪的原理说明。因为觉得价值颇大，所以花费了点时间翻译。作者是眼动研究专家，博客里有不少用户研究的内容。

原文地址：http://eyetracking.me/?page_id=9

———————————— 全文的分割线 —————————————

什么是眼动跟踪（Eye Tracking）？

为了理解眼动跟踪是如何工作的，首先我们来了解一下人的眼睛和视觉系统是如何工作的。

一个眼动跟踪系统，诸如Tobii T60 / T120 / X120通常是通过监测目标人群的眼睛在数码图片上的反应和典型移动来进行的。人的眼睛通常是不停的移动的，直到它停留在某一点上。我们发现有超过10多种不同的眼睛移动类型，它们中最重要的是扫视（saccades）、固视（fixations）和平滑移视（smooth pursuit）。当眼睛停留集中在某点是我们称它为固视，当在若干固视点间移动时我们把它称做扫视。见下图：

当眼睛注视时，通常需要100至600毫秒，在每个点注视时大脑就开始处理从眼部接受到的视觉信息。扫视通常是指从一个注视点快速的跳跃到另一个注视点。通常每次扫视的平均时间是20-40毫秒。在这期间，眼睛不对大脑传送信息。

人眼的视野大概在200º，绝大多数光感细胞位于视网膜上的中央凹（fovea），它们是我们能够看够各种有色彩事物的关键因素。这个中央凹区域相当小，通常只覆盖我们眼睛视野的1-2度。值得一提的是，这些光感细胞也是我们的大脑能接受视觉信息的关键因素。见下图：

我们的感知通常略大于我们能看到的。举例来说，当我们阅读一段文字时，我们通常能看到右侧的12-15个单词和左侧的3-4个单词，这表明在注视中心点附近有一个18个字符宽且中心不对称的感知区域存在。利用中央凹外围的视野，我们也能看到模糊的图像，但仅限于察觉移动和对比。见下图：

当我们的眼睛处于休息状态时，大脑的注意力可能转移到其他地方。也就是说我们可以转移注意力但眼睛不移动。然后，对中心凹视野监测通常是有效的判断注意力变化的手段，因为大脑通常无法处理中心凹以外的复杂刺激信息。不少例子证明，大脑在处理中心凹视觉信息时比外围视觉信息更有效率。因为相比清晰的视觉信息大脑需要花更多的努力来理解模糊的视觉信息。这也是为什么可以通过跟踪眼部运动，尤其是注视来解释人们的行为。这就像我们所了解的，为了了解事物我们只能注视它或离它很近。如果某人没有注视，他不可能看到并阅读文字。眼动跟踪记录这些移动，并且当眼睛注视时，标记中心凹的位置。

通过分析眼部移动，我们能了解人们的行为。注视时间的长短通常表明了大脑处理视觉信息的过程和认知行为的发生。如，在阅读时，注视常见单词的时间通常比非常见单词时间短。

———————————— 相关阅读分割线 —————————————

关于“眼动仪”：http://ucdchina.com/snap/3181

浅析眼动仪在可用性测试中的应用：http://ued.alipay.com/?p=497

其他你可能感兴趣的:

可用性测试的几点声明

耿人杰 — Sun, 03 May 2009 05:32:52 +0000

摘自《Dont Make Me Think》关于可用性测试的一段说明

1.我们现在要明确的是，我们正在测试这个网站而不是你本人。在这里，你不会犯什么错误，实际上，这是一个你完全没必要担心自己会出错的地方。

2.我们想知道你是怎么想的，所以请别担心会伤害到我们的感情。我们想要改进这个网站，因此我们想知道你的真实想法。

3.如果你有问题，就尽管问。我也许不能马上回答这些问题，因为我们想知道如果没有别人在旁边的时候，人们会怎么做，但在测试结束后，我会设法回答任何你还没明白的问题。