1、学号： 上海海事大学本科生毕业设计（论文）基于眼动追踪结合鼠标行为的用户兴趣研究学 院：物流工程专 业：工业工程班 级：工业 091姓 名：指导老师：完成时间： 年 月摘 要网上购物是英特网带来的一种新的生活方式，每当用户打开购物网站，大量的商品推荐信息涌入用户的视线，随之而来的信息超载无法避免。提高电子商务中的推荐精确度成为各大电商关注的重点。本文先对现有的推荐系统进行介绍分析，找出其中不足，提出结合眼动追踪和鼠标行为改进推荐系统的假设。再运用 Smart-Eyes 和 GazeTracker 进行眼动追踪分析和鼠标行为分析，就用户感兴趣时表现出的行为特征进行研究分析，判别用户真正兴趣，找出
2、用户感兴趣时的行为特征，为判别用户真正兴趣提供依据。关键词：行为特征，判别用户兴趣，眼动追踪，鼠标行为AbstractOnline shopping is a new style of life which brought by internet. The goods recommended information pack into users line of sight whenever user opens a shopping site. The over information overload can not be avoided. Improving the accuracy o
3、f recommend has become the focus of attention of the online retailers.In this paper, we firstly introduced and analysisde the existing recommendation system to find the defect and proposed an assumption that combinating eye tracking and mouse actionswe to improve the recommendations system. After th
4、at we use the Smart-eyes and the GazeTracker to analysis the eye tracing and mouse behavior in order to discriminate users real interst and to identify the users characteristics behavior when they show the interest which could provide the basis for the discrimination of users real interest.Key words
5、: characteristics behavior, discrimination of users interest, eyes tracking, mouse behavior目 录1、绪论 .11.1 用户兴趣研究背景与意义 .11.2 推荐系统和眼动技术国内外研究现状 .11.3 本文研究内容和研究方法 .31.4 本文组织结构 .42、眼动追踪挖掘用户兴趣理论依据 .52.1 通过眼动追踪挖掘用户兴趣可行性分析 .52.2 实验设计说明 .52.3 本章小结 .93、眼动数据分析 .103.1AHP 层次分析法简介及选择该方法的原因 .103.2 运用 AHP 层次分析法决定所需眼
6、动参数 .103.3 眼动参数散点图分析 .143.4 本章小结 .214、鼠标行为分析 .224.1 马尔科夫链定义 .224.2 选择该方法的原因 .224.3 数据记录及分析 .224.4 本章小结 .265、眼动参数结合鼠标行为结论及论证 .275.1 结合两类参数得出结论 .275.2 结论论证 .275.3 本章小结 .316、总结与展望 .326.1 总结 .326.2 展望 .32参考文献 .33致 谢 .34上海海事大学本科生毕业设计（论文）11、绪论21 世纪是个信息化、网络化的时代，随着网络技术的不断发展，现在人们的生活已经很难脱离英特网。网上购物作为英特网的衍生物之一，
7、是现今极为普遍的购物方式，其优势（快捷、实惠、可选择性强、足不出户等）也将使其在成为在未来重要的一个购物模式。1.1 用户兴趣研究背景与意义网上购物不同于传统购物，用户不必特地抽出时间出门来到商圈进入店铺挑选需要的商品。网上购物过程通常只有几分钟到几十分钟的时间，浏览购物网站即可接收到各类商品信息。浏览网站即可接收到大量购物信息固然方便，但与此同时产生的信息超载也随之而来，过多的不必要信息甚至是令人产生厌恶感的产品信息反而会削弱用户的购买欲望，缩短用户在网页上停留的时间。如何有效利用用户在网页上停留的几分钟挖掘用户兴趣推荐商品，让用户在几分钟内产生购买欲望，是电商们不得不重视的问题。该问题关键
8、在于用户兴趣的判别，当推荐的商品迎合了用户兴趣，甚至挖掘了用户潜在兴趣时，可极大地提高用户购买欲望和购买概率，从而创造商业效益。准确且有针对性的推荐系统能为电商带来更高的效益，目前的推荐系统研究大多集中在算法，通过研究出更合理准确的算法来推测用户兴趣，但算法研究始终是从用户过往行为中进行总结分析预测用户兴趣，该方法虽久经改进有一定准确性和实用性，但始终停留在理论推测上，不够直接，且某些特征相似性强的用户未必兴趣非常相似，即使是同一个用户过去的兴趣和现在的兴趣也可能大相径庭。因此算法研究始终难以突破其局限性。眼动行为研究则从另一个角度人机工程角度入手。通过分析研究用户眼部行为（眨眼，瞳孔放大等）
9、 ，对用户心理和行为进行总结分析。在内容推荐方面，眼动研究可更为直接地判别用户是否对商品感兴趣，深入发掘用户潜在需求与正真兴趣，为优化推荐内容提供有效参考。在逐步进入的“摄像头识别技术 ”时代，这样的研究能为个性化内容推荐的发展提供参考。1.2 推荐系统和眼动技术国内外研究现状1.2.1 推荐系统目前国内外在内容推荐方面的研究主要在算法的不断精确上，或者研究不同算法带来个上海海事大学本科生毕业设计（论文）2性化推荐内容。现有的推荐算法主要有三类 1：（1）基于内容的推荐基于内容的推荐算法是根据信息的内容和用户偏好之前的相关性，向用户产生推荐。该算法的弊端在于用户只能收到过去的偏好推荐，难以挖掘
10、用户潜在兴趣喜好。（2）协同过滤推荐协同过滤推荐的基本思想是根据具有类似观点用户的行为对目标用户进行推荐或预测。又分为基于用户的协同过滤推荐和基于项目的协同过滤推荐，两种方式大致上都是通过项目之间的相似性推测出推荐内容。通过相似性推测相似的用户有相似的兴趣喜好，此法虽有一定可行性，但难以保证相似用户的兴趣爱好完全相似。（3）混合式推荐混合式推荐主要思想就是结合基于内容的推荐和协同过滤推荐，实验结果表明混合式推荐性能更优于传统的推荐算法，自然也是现今使用最多的推荐算法。当然混合式推荐同样没有摆脱上述 2 中算法在用户兴趣挖掘中的弊端。1.2.2 眼动追踪技术眼动追踪目前被广泛应用于各类研究，主要
11、方面包括心理学研究，阅读过程研究，驾驶疲劳研究。眼动仪本身是心理学基础研究的重要仪器，早在 19 世纪就有人通过观察人的眼球运动来研究人的心理活动，通过分析记录到的眼动数据来探讨眼动与人的心理活动关系 2。一个正常人的生理活动离不开心理活动，所以在各类涉及视觉上有人机交互行为的研究中，眼动追踪技术都可有所建树。Lynne Cooke 研究了眼球运动和人认知活动之间的联系，并得出凝视时间和凝视频率是相互关联的结论 3，为眼动研究在交互行为上的应用提供了理论支持。下面是眼动追踪技术的应用实例：（1）网页设计上的应用Qian Li, Linyan Sun, Jiyang Duan 通过眼动追踪技术调
12、查用户查看网页的过程中，持续凝视的时间，人的因素导致的凝视，不同运营商导致的不同凝视，用户关注的顺序，用以更进一步的网络功能设计 4。（2）教学方面的应用国外也有将眼动研究运用于教学过程中的例子。当用户使用教学材料，同步视频和 PPT 幻灯片时，通过记录用户的眼球运动，进行用户行为分析，研究幻灯片和视频在教学中的互补作用 5。也有通过眼动技术研究用户的情绪状态，改善电子学习过程 6。很明显，教学方面的研究因贴合用户情绪状态，可以为内容推荐上的眼动研究提供参考。（3）内容推荐方面的应用眼动追踪技术曾被应用于购物网页界面设计研究，Li Chen 和 Pearl Pu 通过研究用户眼动轨迹，比较各类
13、推荐界面中用户的眼动参数，总结出相性布局界面比传统顺序界面更为高效 7。Sylvain Castagnos、Nicolas Jones 和 Pearl Pu 通过收集用户选择过程的眼睛凝视参数等，研究推荐系统是如何影响用户选择 8。以上研究仅仅是对商家方面进行研究，虽然是通过用户的眼动轨迹，但最终指出的还仅限商家在网页布局上上海海事大学本科生毕业设计（论文）3的问题以及改进方式，没从用户的角度去发掘用户兴趣。由此可见，眼动追踪在电子商务内容推荐上的应用尚不深，有进一步的用武之地。上述的研究虽然没有直接应用于一个人的兴趣判别上，但利用眼动研究可深入人的心理活动的特点，可通过眼睛的行为表现可预测用
14、户喜好，喜好程度，为进一步的推荐提供参考。1.2.3 两种研究结合现状推荐系统算法的研究正在不断的改进，特别集中表现在协同过滤推荐算法的优化上 9，不过通过上述几种推荐算法可以看出，推荐系统的算法主要通过用户在网页上操作后留下的数据，或者个人信息资料进行分析给出推荐，利用算法固然能通过有效数据推测出用户兴趣，但这种方式大部分过程建立在推测和数据上，且对数据真实性要求很高，但收集到的用户数据却难以保证很高的真实性。而一个普通人的眼部行为特别是瞳孔的放大缩小，难以主观控制。如果能从用户行为上入手，通过分析用户行为，结合推荐算法，有极大可能提升推荐质量。通过研究用户行为特别是眼部行为来挖掘用户兴趣的
15、研究还比较少。人们常说眼睛是人心灵的窗户，可见眼部表现是一个值得在各方面进行研究的方向。国内已有采用眼动仪通过用户眼动数据挖掘用户的兴趣权重 10。从眼动参数入手确实是一个较为实际且创新的方法，其优点在更为直观反映用户的兴趣点，但它的不足在于单一的眼动参数无法 100%真实反映用户兴趣，此时更准确的研究方法就需要用户眼动参数结合用户其它的行为参数，以保证信息的有效性。国外也有学者通过眼动参数研究不同的推荐界面布局给用户选择带来的影响 11。从而总结出不同界面的推荐效果优劣，优化推荐页面布局从而吸引用户的注意力到更多的推荐商品上，既提高了推荐质量，也给电商带来了更高的效益。不过研究同样暂时只涉及
16、了眼动参数，并未结合其他眼部行为，另外研究也只是在界面设计上吸引更多注意，并没有发觉用户真正喜好，用户可能只是选择了一个“较喜欢”的商品。1.3 本文研究内容和研究方法在网购过程中，主要的购物过程是通过人眼接收信息结合鼠标操作构成。因此本文提出一种推测，当用户在页面上发现了感兴趣的商品时，眼动参数是否存在一个特定的状态，与此同时，鼠标操作又有怎么样的行为特征，当用户的眼动行为和鼠标行为同时符合该特征时是否可以判定为该用户看见了感兴趣的商品。因此，本文设计一个实验来记录用户网购过程中的眼动凝视参数、眨眼参数、瞳孔直径参数、用户鼠标行为。分别分析用户在整个购物实验过程中的眼动行为和鼠标操作行为，总
17、结出两类行为的在用户不同状态下的特点，再将两类行为结合分析，总结出一套用户感兴趣时的行为模式，得到用户为更准确的兴趣项，为提上海海事大学本科生毕业设计（论文）4高内容推荐的质量提供一定依据。研究实验被设计为一个“ 购物实验 ”，在实验中使用 smart-eyes 采集用户购物过程中的眼部行为参数数据，运用 GazeTracker 同步对电脑界面进行视频拍摄进行辅助记录。运用 AHP层次分析法选出判别用户感兴趣程度最为适合的眼部行为参数后，用 SPSS 软件绘制眼部参数散点图，分析眼动参数，运用马尔科夫链分析用户各个状态下的鼠标行为组成。总结出用户兴趣时的眼部行为表现和鼠标行为表现。1.4 本文
18、组织结构（1）绪论介绍本文研究背景研究意义，推荐系统国内外发展现状，眼动追踪技术国内外应用现状，阐述本文研究内容和研究方法，以及介绍本文的组织结构。（2）眼动参数挖掘用户兴趣理论依据首先分析能通过眼动参数挖掘用户兴趣的原因及可行性，提出假设性结论。接着通过问卷调查找到最合适的人参与实验，确定实验所需时间，场景环境。最后介绍了实验过程，实验用到的仪器设备，以及实验最终能取得什么样的数据。（3）眼动数据分析通过 AHP 层次分析法分析出眼部几个主要参数在用户感兴趣的表现中的权重参数，从而确定选取哪几项参数进行研究。将实验中记录的眼动数据运用 SPSS 对眼动数据进行散点图绘制，通过数据散点图直观地
19、总结出用户发现感兴趣商品是的眼部行为表现。同时发现单一的眼动参数在用户兴趣判断上的不足之处。（4）鼠标行为分析为弥补眼动参数在用户兴趣判定上的不足引入鼠标行为分析，数据依旧来自于之前的实验。运用马尔科夫链进行用户各个状态下的鼠标行为组成分析，得出用户不同状态下的鼠标行为特征。（5）结论及论证通过结合先前总结出的用户感兴趣时的眼动参数特征和鼠标行为特征，提出用户感兴趣时的初步眼动结合鼠标行为特征结论。进行一次检验目的的实验，通过采集分析第二次实验中用户的眼动行为和鼠标行为数据，对比先前得出的结论，验证之前提出的用户感兴趣时的行为特征。（6）总结与展望总结全文研究过程，并在目前的研究基础上提出进一
20、步研究方向。上海海事大学本科生毕业设计（论文）52、眼动追踪挖掘用户兴趣理论依据2.1 通过眼动追踪挖掘用户兴趣可行性分析通过算法判别用户的兴趣喜好的优点在于其有长时间的研究基础，经历过较长的理论不断完善改进的过程，但其不足在于仅仅通过历史数据难以判别用户当下兴趣，而相似度高的用户兴趣可能并不十分相似。从现有的研究可以发现，推荐系统始终离不开用户本人，一切的推荐数据源都源自于用户本身，所有的研究都从用户着手，可见内容推荐的研究必须从用户本身出发。而用户作为正常人，行为始终联系着心理活动，眼睛便是用户心灵的窗户。眼动仪目前的应用，不仅仅是用户眼动行为的研究，更衍生到了从用户的眼动行为发掘用户心理
21、的研究。用户对一样物品的喜欢厌恶本身便是一种心理状态，通过眼动仪研究用户的喜好，既从用户本身出发，得到最贴切最真实的数据，又符合眼动仪的研究特点，故通过眼动参数研究用户兴趣，可行性极高。在此可提出一个大胆假设，当用户看见自己感兴趣的商品时，眼部行为是否存在一个特殊的状态，并且可通过这个状态特征反过来推断用户对一样东西是感兴趣的。但不排除单一从用户眼部行为表现判定用户兴趣喜好存在不准确性的可能，故需要通过反复的实验研究对比，确定是否需要进一步融入其他交互行为的研究比如鼠标行为，用户鼠标行为也是一项曾被用户判定用户兴趣的依据，雅虎研究院就曾经做过通过鼠标行为判定用户兴趣的研究。2.2 实验设计说明
22、本次实验先对在校大学生进行网购行为进行问卷调查，得出在校大学生大致网购行为状况后进行实验。2.2.1 问卷部分在实验中，8 名志愿者参加了这项实验。他们主要是大学生，年龄在 21 岁到 25 岁，为确保参与实验的志愿者的眼动参数和行为参数具有代表性。8 名志愿者皆是事先进问卷调查后选出。调查问卷如下：您好，很高兴您能在百忙之中抽出时间参与此次问卷调查。此次问卷调查主要目的是了上海海事大学本科生毕业设计（论文）6解现今人们网购行为的普及程度，网购频率，及网购习惯等，希望您能如实填写，谢谢！1、请问您的性别是？A.男 B.女2、请问您过去有进行过网购吗？A有过NO.3 B.从未NO.93、请问您网
23、购的频率是？A.每天一次B.每周 2-3 次C.每月 2-3 次D.每月 1 次左右E.每 2-3 月一次D.半年或半年以上一次4、请问您的网购习惯符合以下哪种情况？（多选）A.没事就喜欢上购物网看看，不用事先计划，看到喜欢的就买B.有确定要购买的物品时才上购物网C.不定期会上购物网看特定商品行情，可能会买，也可能不买（这里的特定商品时指近期内计划购买的东西，但还没有确定）D.很喜欢逛网店，但是很少购买5、请问您每次网购时间大概是多久？A.10-20 分钟B.20-60 分钟C.1 小时以上D.不一定，视情况而定6、当您看到您感兴趣的物品时是否一定会购买？A.只要经济状况许可，一定会购买B.无
24、论经济情况如何，都会先考虑一下再决定是否购买C.经常看到感兴趣的物品，但却很少购买D.很少在网上看到自己中意的物品，所以很少购买7、当您需要购买一样物品，却没有发现自己特别中意的，下列哪像描述最符合您平时表现呢？A.既然是需要的，即使没有特别中意的会退而求其次购买相对中意的B.找不到中意商品便放弃通过网店购买，选择其他购买方式（实体店、电视销售等）上海海事大学本科生毕业设计（论文）7C.暂时搁置购买计划，过些时日再上网搜索是否有新的商品D.直接打消购买念头8、您平时使用最多的网购平台是哪个呢？A.淘宝（包括天猫）B.京东C.1 号店D.亚马逊E.当当F.其他（请注明） 9、您在今后是否会尝试或
25、继续进行网上购物呢？A.肯定会B.不会C.视情况而定问卷结果分析10、请问您是否愿意参与一项关于网购行为研究的实验？A.愿意B.不愿意最后再次感谢您参与本次的问卷调查，祝您生活愉快，谢谢！本问卷通过实体派发方式，共获得 52 份有效填写问卷。以下是部分调查结果统计表。表 2-1 有无网购经历表网购经历情况 人数 所占比例有过网购经历 47 90.39%无网购经历但有兴趣尝试 4 7.69%无网购经历近期也不愿尝试 1 1.92%表 2-2 网购频率表网购频率情况 人数 所占比例每天一次 0 0%每周 2-3 次 1 2.13%每月 2-3 次 19 40.43%每月 1 次左右 7 14.89%每 2-3 月一次 16 34.04%半年或半年以上一次 4 8.51%表 2-3 网购平均时间表网购平均时间 人数 所占比例10-20 分钟 3 6.38%20-60 分钟 24 51.06%
