不止“可用性”——2017华人CHI论坛参会有感

WX20170902-102610.png

“耳听为虚,眼见为实”。但是你所“看到”的,真的是事物的本质吗?


试想这样一个画面,当你和女朋友在逛商场的时候,她站在某品牌化妆品柜台前犹豫不定,而当你去询问的时候,她却笑着对你说“没事,只是随便看看”。如果这时候你收获到的信息是“哦,她只是随便看看”,那么这里你所“看”到的,真的是事物的本质吗?情感关系如此,可用性测试同样如此。当我们在实施用户访谈时,用户往往会受到环境或人情因素的影响,不能够完全表达自己的真实感受,影响我们所获得信息的准确度。针对这种情况,我们该怎么做? 

1503904218847984.jpg

捕捉非言语信息在生活中十分重要,对可用性测试也是如此


在2017年华人CHI论坛的“可用性测试”工作坊现场,insight lab的创始人兼研究总监李宏汀博士就介绍了能够应对这一问题的研究手段。他带领学员们探索了另一种更具备客观性和专业性的测试方法——绩效测试(Performance Measurement)


1503902818351741.png

1503902822560704.png

insight lab创始人兼研究总监李宏汀博士在为学员们授课 


与以往人们所理解的“绩效评估”或“绩效考核”概念有所差别,在可用性测试中,我们所提到的“绩效测试”是通过建立一定的指标体系,采取实验设计的方式,实现对数据的采集及分析,从而洞悉用户的真实感受。这种方法相较于传统测试手段,能够进一步确定可用性水平,洞悉影响操作效率的因素,并且具备更高的客观性与效用性,适用于移动端、PC端等涉及用户主客观信息采集方面的可用性研究。

1503904459143554.png

目前VR技术也在逐渐应用到可用性测试当中


李宏汀博士在“可用性测试”工作坊中,不仅向与会学员介绍了大家所了解的传统可用性测试,更进一步结合insight lab在2016年进行的汽车人机交互界面(Human Machine Interface,以下简称HMI)测评研究,说明绩效测试的具体应用方法。为了准确的记录用户在驾驶过程中对不同汽车中控界面的真实感受及反馈,insight lab针对测试目标的特点,构建测试指标体系,并在用户访谈方法的基础上,结合眼动仪、行车记录仪、多导生理仪等第三方测量工具,记录用户在任务实施中的生理及行为表现,从而帮助我们获得更为准确的评价。 

1503903855100367.png

insight lab汽车HMI测评体系



1503904566691520.png

用户在测试过程中佩戴了眼动仪、多导生理仪等设备,记录其行为及生理数据


比如,我们想要了解在驾驶过程中,用户在不同HMI(人机交互界面)下进行空调调节任务的效率差异性。我们为用户佩戴了头戴式眼动仪,捕捉其在操作过程中的眼动数据,并对其进行进一步分析。

1503904616703870.png


用户在操作过程中的眼动仪实时画面


从特斯拉与奔驰HMI的眼动轨迹图中可以看出,特斯拉(左)完成该任务需要57个注视点,二相应奔驰(右)仅需要24个注视点,从数量上能够明显体现出后者优于前者;同时特斯拉的眼动注视点分布比较凌乱,而奔驰整体上呈现“一字型”排列,说明其操作路径更为清晰明确。结合以上两点可以得出,特斯拉在空调调节任务下需要花费用户更多精力去进行操作,效率相对较低。同样,我们结合其他仪器设备能够获得大量客观数据,从而为最终结果提供更多有效的信息支持。

1503904647106804.png

眼动数据能够更准确体现不同汽车HMI的差异性


但是令我们诧异的是,在座的来自用户体验领域或高校的学员中,仅有少部分人了解或接触过绩效测试的方法,更不用说进行实践操作。纵观目前企业用户研究,大多以用户访谈的形式进行信息收集,虽然直观快捷,但是也存在信效度方面的问题,这在长期开展可用性测试中可能埋下一定的隐患。

1503904677380831.jpg

用户访谈虽然行之有效,但是存在一定的主观偏好风险


通过对所收集到的各项客观指标的数据处理及分析,我们能够在对用户访谈的基础上,进一步获得更为客观的数据支持,从而在更全面的维度上获得用户对于产品的感受和评价。结合主观与客观两方面的信息,insight lab能够洞察到用户更深层次的需求,提升评价体系的客观性与效用性,从而为制造商提供更切合痛点的建议与价值。

1503904715268518.png

“可用性测试”工作坊现场


正如我们的口号“洞悉前沿,察量体验”,insight lab在今后的用户体验测评与研究当中也会不断推广绩效测试这一研究方法,为用户体验行业提供更为可靠和准确的测评体系。在insight lab,我们思考的更多。