1、 国家科学图书馆青年人才领域前沿项目 “数字图书馆环境下的用户体验研究” 成果报告（三 ） 用户体验测试 流程 规范 批准立项时间 2009 年 2 月 24 日 项目验收时间 2010年 7 月 项 目 负 责 人 徐 源 所 在 部 门 国科图成都分馆信息技术部 用户体验测试 流程 规范 （一） 定制测试策略 (1) （ 二 ） 测试前的准备 (2) ( 三 ) 预 测 试 (3) ( 四 ) 实施正式测试 (4) ( 五 ) 数据整理分析 (6) （ 六 ）编写测试报告 (8) 用户体验测试 流程 规范 （一） 定制测试策略 【 环节 内容 说明 】 对 整体 测试工作前期进行规划。 【
2、 环节 目的 说明 】 通过这个环节的定制要能 确定 测试工作的 基本要素。 测试的对象 、 指标 、 环境 、 类别、 方式以及技术手段 。 【 详细内容参见 】 成果报告二 （研究机制与流程设计） P 27 P 38 实施 步骤 罗列 ： 确定测试的对象 明确测试的项目、系统、平台。应该申明具体的测试模块、内容、功能。没有纳入测试范围的模块产生的体验问题可以忽略。 确定 测试的指标 请参考 数字图书馆环境下用户体验评价指标体系的设计与建构中的研究结果，具体项目在实施前可以结合实际情况和需求对分级指标进行修订， 确定测试的 类别 根据项目实际情况（进展或测试目的）确立测试的类别。 确定测试的
3、环境 根据项目计划测试工作的投入资金、测试工作时间安排，和测试用户地域 来源。来确定测试的环境 是实验室测试还是远程测试。 确定执行测试的方式以及技术手段 对于测试准备时间比较紧张，测试工作人员对于测试软件技术没有很好的了解、掌握的情况下，我们可以选择人工测试，按照计划利用预备的测试记录套表进行手工的记录，分析。大多数情况下，我们还是比较推荐利用计算机辅助测试，更为高效便捷。 用户体验测试 流程 规范 （ 二 ） 测试前的准备 【 环节内容说明 】 对 测试前的各方面的需求工作进行落实 。 【 环节 目的 说明 】 通过这个环节的定制要能 为测试 工作 提供必须的文档 、 测试 环境 保障 、
4、工作 人员 培训 工作 等 。 【 详细内 容参见 】 成果报告二（研究机制与流程设计） P 28 P 38 实施步骤罗列 ： 定制测试计划书 计划书是测试成功的基础保障，最好由测试小组和项目开发小组联合设计、讨论、成型。 包括： 测试 对象、 测试用户数量以及 特征 、 测试 类型、 测试 时间、 测试 地点、使用的软件、测试 工作 人员 分工安排 、测试环节流程 的描述 。 （详见：研究机制与流程设计 P31） 开展 用户招募 工作 确定测试用户的数量 ，一般不得少于 6 人。 编写 用户招募书 ：应该具备的内容 （详见：研究机制与流程设计 P30） 测试用户招募的方式 ：根据课题类别和需
5、要选择 测试用户招募的方式 （电子邮件、在线发布招募信息、学科馆员下所服务时邀请） 嶙选用户 的规则： （详见：研究机制与流程设计 P30） 定制 测试任务、问卷设计、启发问答一体表 应用场景的描述、 任务、问卷、启发问答的设计一定要有科学性、合理性 ， 最好由测试小组和项目开发小组联合设计、讨论、成型。 任务 ： 包括规定任务、自选任务；任务的呈现：任务定义的内容包括，任务的名称，任务的描述， 任务考核的 目的 ， 任务 类别，任务正确完成方法。 问卷： 测试前问卷、场景后问卷、测试后综合问卷 启发问答 ：结合问卷和实际任务执行情况的开发式提问 用户体验测试 流程 规范 应用场景的描述 设计
6、方法 （ 详见：研究机制与流程设计 P32） 搭建测试环境 根据具体项目情况来选择测试环境。进行 硬件、软件、网络环境等方面的环境搭建。具体方法 （详见：研究机制与流程设计 P36） 对 工作人员 进行 培训 包括： 对测试对象的了解培训 （ 参考 测试 项目简介书 样本 ） 、 对测试用户的了解培训 （ 参考 测试用户工作情况的调查结果表 样本 ） 对计划书的理解培训 （ 参考 测试 计划书 样本 ） (三 ) 预 测 试 【 环节内容说明 】 测试演习 、 设计环节 的 修改调整 【 环节 目的 说明 】 通过这个环节的定制 对测 试进行内部的预演，发现设计环节上不合理的环节 ， 测试组
7、应该 立即作出有效的调整，以次保障正式测试工作的成功完成。 【 详细内容参见 】 成果报告二（研究机制与流程设计） P 38 实施步骤罗列 ： 选取合适的人员代替真实用户进行 测试演习 预测试用户可以选择没有参加项目开发的同志代替真实测试中的用户来完成。通常选择语言表达能力和表达欲望比较强烈的同志为佳 。 流程及内容以及细节安排应该按照事前拟订的测试计划书里严格的执行。 对测试设计上不合理的环节进行 修改调整 调整的方面（详见：研究机制与流程设计 P38） 用户体验测试 流程 规范 (四 ) 实施正式测试 【 环节内容说明 】 定义了测试执行的前、中、后的具体的规范性的流程操作 【 环节 目的
8、 说明 】 测试前： 让 用户放松 心情 以最自然的状态投入测试 ,并 对 被测项目和 测试的流程有个轮廓性的了解 。 对即将发生的 现场 情况有应对的心理准备 ，提供有研究价值的反馈信息。 测试中： 在主持人的引导下，用户按照测试流程执行每一项任务，完成每份问卷。 通过 主持人 启发问答， 记录员准确记录现场的情况和观察室内的讨论结果， 收集 到有价值的原始体验信息。 测试后： 将数据 及时 保存 ， 供分析使用。 【 详细内容参见 】 成果报告二 （研究机制与流程设计） P39 - P45 (4.1) 测试前 实施步骤罗列 ： 主持人致欢迎词 内容参见：主持人引导人脚本 样本 主持人对测试
9、用户进行简单访谈 内容参见：主持人引导人脚本 样本 主持人介绍测试的对象 内容参见：主持人引导人脚本 样本 主持人介绍测试的目的 内容参见：主持人引导人脚本 样本 主持人介绍测试的流程 内容参见：主持人引导人脚本 样本 可能发生的情况处理 内容参见：主持人引导人脚本 样本 请测试用户签定 测试用户知情书 内容参见： 测试用户知情书 样本 主持人介绍并演示 测试 工具 的使用方法 主持人确认并宣告测试开始 (4.2) 测试中 主持人引导用户填写任务前问卷 鼓励用户放松心情如实填写。主持人做必要的隐私保护申明 用户体验测试 流程 规范 用户 按流程 执行 任务 、填写 任务 问卷 主持人引导 、提
10、示 用户完成每个单元的测试、提示任务开始、结束、填写问卷、提交问卷。 在用户观看理解任务面板的内容时，主持人按 照测试计划书里任务对应的应用场景进行描述，帮助用户理解任务。 在用户执行任务过程，不同状况下，用户和测试组成员的响应情况 （详见：研究机制与流程设计 P42-P44） 主持人负责引导用户阶段性总结 主持人负责引导用户一起回顾操作困难环节，难理解的术语，使用结果的满意度等等（详见：研究机制与流程设计 P44） 主持人引导用户填写任务执行后的问卷以及启发问答 主 持人引导用户填写任务执行后的问卷的同时进行启发问答，这些问答应当 是开放性的问题 ，并与用户的使用情况相联系。 用 户 依次执
11、行直到成测试计划书中设计的所有任务 主持人负责引导用户填写所有任务执行后的综合问卷以及启发问答 主持人引导用户填写所有任务执行后的综合问卷，了解用户对这个被测试项目的综合体验，配 合启发问答，最后 应当得到的是对测试对象的总评价以及一些方向性的意见和建议， 主持人 立即 对整个测试工作进行总结。 内容参见：主持人引导人脚本 、测试计划书 样本 (4.3) 测试结束 主持人负责保存测试机上的数据 观察室的记录员观察机上的数据 赠送礼物以及测试费 按照“用户知情协议书”中的承诺赠送礼物以及测试费。同时表示感谢。 预约下次测试 主持人告诉测试用户体验测试是一个迭代进行的工作，再次感谢的同时希望他能参
12、加我们下一轮测试。 用户体验测试 流程 规范 (五 ) 数据 整理 分析 【 环节内容说明 】 定义了 定量与定性 数据的 类 别、 来源与处理分析规范 【 环节 目的 说明 】 通过对数据 整理 分析规范的定制来 确保由数据产出 的 结果的客观性，减小主观 性 评价的 成分。 【 详细内容参见 】 成果报告二（研究机制与流程设计） P45 - P51 定量数据 分析 数据类别：时间、数量、比率 （详见：研究机制与流程设计 P46） 数据来源 ：计算机辅助系统 对用户行为的跟踪 统计 分析方法： 绩效分析 （详见：研究机制与流程设计 P52） 、 群组绩效差异分析 （详见：研究机制与流程设计
13、P53） 分析结果： 平均完成时间 = 所有参试者完成当前任务的算术平 均值 出错数 = 所有参试者在当前任务所有出错数量总和 求助数 = 所有参试者在当前任务求助的数量总和 完成率 = 完成当前任务的参试数量占全部参试数量的百分比 在限定时间内完成的任务数量 =（在限定时间内完成的任务数量 /在限定时间内完成的最大任务数量） *100% 群组绩效差异 ：不同用户群的 平均完成时间 、 出错数 、 求助数 、 在限定时间内完成的任务数量 比较。 定性数据分析 数据类别： 偏好数据 （详见：研究机制与流程设计 P46） 用户体验测试 流程 规范 数据来源：测试问卷 、体验表达 （详见：研究机制与
14、流程设计 P47） 分析方法： 偏好分 析 （详见：研究机制与流程设计 P53） 群组偏好差异分析 （详见：研究机制与流程设计 P53） 分析结果： 测试问卷 综合 满意度量表 的算术平均值 满意度 算术平均值 亲和力 5 级量表评估 。 易学习性 5 级量表评估 。 易记性 5 级量表评估 。 吸引力 5 级量表评估 。 习惯的符合性 5 级量表评估 。 组织构架 5 级量表评估 。 使用习惯的符合性 5 级量表评估 。 使用效率的满意度 5 级量表评估 。 使用过程的愉悦度 5 级量表评估 。 使用结果的 满足度 5 级量表评估 。 重复使用的愿望 5 级量表评估 。 开放问题的分类统计
15、结果 群组偏好差异 不同用户群的开放性 意见和偏好选择。 由 聚合 法 产出 体验问题 （详见：研究机制与流程设计 P53） 用户体验表达数据通过记录员的标记进行记录，这些原始数据往往较为零散，难以直接反映出用户体验问题。例如参试用户在一个或多个任务场景中出现了多个错误，这些错误实质上指向的是同一个用户体验问题，如果只就单个原始数据本身进行分析，就难以全面的揭示用户体验问题。因此，需要对原始事件数据进行处理，将分散的原始事件 数据进用户体验测试 流程 规范 行归纳出现象和原因后整理转化为用户体验问题，从而充分利用计算机的优势对数据进行辅助分析。 （ 六 ） 编写测试报告 【 环节内容说明 】
16、测试方法运用、测试结果 呈现 、 优化建议 提出 【 环节 目的 说明 】 呈现测试结果和优化建议，提交给项目开发小组，为项目的优化工作执行 提供依据。 报告结构 测试目的 测试 项目或平台 测试环境 、类别 与 设备 测试 用户信息 测试 工作 人员信息 测试 方法与流程 绩效数据 分析结果 呈现 呈现方式： （ 图、表）与文字描述结合说明。如：饼图、柱状图、曲线图。 偏好 数据分 析结果 呈现 呈现方式： （ 图、表）与文字描述结合说明。如：饼图、柱状图、曲线图。 良好的 体 验发现 呈现方式： 图文结合说明，描述内容： 名称、地址、描述、出现的频率、出现的范围 （详见：研究机制与流程设计 P55） 体验问题以及建议 呈现方式： 图文结合说明，描述内容： 问题名称、问题地址、问题描述、问题分析、问题出现的频率、问题出现的范围、优化建议 （详见：研究机制与流程设计 P56） 故事板
