基于体感器的甩手动作计数器设计文献综述.docx

1、 学号：201210322017上海海事大学文献综述报告学 院：信息工程学院专 业：通信工程班 级：通信 121姓 名：姜晨指导教师：杨文璐2016 年 6 月基于体感器的甩手动作计数器设计综述摘 要自体感设备 Kinect 推出以来，在游戏娱乐有了很大的发展，然而厂商和研发人员又开始把目光投向其他领域，无论是旅游业，教育领域还是医疗领域，体感器 Kinect 都有巨大的发展前景，本课题旨在通过体感器采集人体活动，特别是手臂部的位置，把解析得到的手臂部运动相关参数输入到虚拟场景，完成基于体感器的甩手动作计数器设计,以适应医学康复领域的需要。关键字：Kinect 体感器，计数器，康复，甩手疗法前

2、 言体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备。便可让人们身历其境地与内容做互动。这一项技术无论是在游戏还是其他领域都有相当大的发展前景。Kinect 就是这样一款体感器，Kinent 具有扑捉人体骨骼动作的功能，而基于体感器的甩手动作计数器通过解析手臂运动动作，记录甩手动作完成的次数等功能，实现在真实的视频环境中显示试验者和计数器，对于医用康复来说是一项辅助功能，有利于实现患者的自行康复训练以及显示某一动作的训练量。主 题1.Kinect 发展与应用前景1.1 Kinect 发展历史Kinect 是微软公司研制的一款体感外设，最初是针对其

3、游戏主机 XBOX360 推出的一套外设产品。Kinect 的整个发展历史经历了 XBOX360 一 Natal Kinect 三个阶段。XBOX360主要是为了给用户创建一个生动的娱乐体验，它注重用户的个性化喜爱和个人风格，硬件设备包括游戏主机以及手柄摇杆等外接设备，但这种传统的娱乐方式使游戏玩家和所有人都分隔开了。Kinect 可以通过 3D 体感摄影机，导入即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能，让玩家在游戏中开车、互动，通过互联网与其他玩家分享图片和信息等。Kinect 是以 XBOX360 游戏机的周边外设发展出来的。把 XBOX360 比作游戏机，则Kinec

4、t 可比作为游戏手柄，只不过此游戏手柄能识别玩家的姿势动作、手势以及声音。随着 Kinect 技术不断地成熟，Kinect 最终独立于 XBOX360，可以直接和普通的 PC 机连接，对人体的姿势动作进行识别。由于 Kinect 设备单一简单，除了在游戏领域，医学、教育、农业等众多领域都有 Kinect 的身影。1.2 Kinect 应用与前景1虚拟应用Kinect 在虚拟应用上，目前主要有几个方面，虚拟试衣镜，虚拟汽车展厅，虚拟乐器，技术成熟的当然是虚拟娱乐。随着网络购物的兴起，如何才能让网上购物有商场购物那一种试穿效果呢？虚拟试衣镜就可以实现，通过 Kinect 骨骼跟踪技术与增强现实技术

5、，创建虚拟试衣镜，不但能看到穿在身上的 3D 效果，还能利用手势识别来回更换各款服装并进行鞋包等装饰品的搭配。这对于网络购物来说是一场革命。2012 年芝加哥车展上尼桑首次采用了 Kinect 来展示汽车，全新的方式展示未上市的探路者车型，由于观众反响热烈，日产决定尝试在经销商处推出 Kinect 体验室。如果试点成功，那么该技术可能会推广到其他 1100家经销商处，甚至有朝一日进入用户家中。对于虚拟乐器，比如空气吉他，通过 Kinect 手势操作虚拟吉他弹奏音乐。Kinect 弹奏中国古代乐器，通过手势的改变可以演奏出不同中国古代乐器的声音。虚拟娱乐，Kinect 通过扑捉人体骨骼，将人物映

6、射到虚拟的游戏场景，通过肢体来控制虚拟人物移动，以此来开发大型娱乐游戏，让用户参与感的到极大提高。23D 建模应用对于含有 3D 物体或数据的相关应用而言，像 CAD/CAM 设计创作工具，GIS 绘图，石油勘探，矿区规划，3D 电影制作，3D 显示为其使用性能的提升带来了极大的希望，而显示器仅仅是输出设备，位于平面上的鼠标作为输入设备却无法很好的转换进 3D 空间，但是 Kinect为这种虚拟现实的体验提供了可能。比如利用 Kinect 演示三维建筑布局等。3. 计算机相关应用(1)例如用 Kinect 进行演讲的软件，Kinect 手势操作浏览器，通过 Kinect 手势对浏览器进行翻页，

7、下拉，放缩等操作，让你的演讲从此与众不。(2)Kinect 多点触摸。使用 Kinect 实现多点触摸，浏览图片、地图等。(3)Kinect 体感控制看片，第四军医人学西京医院骨科的医生们将 Kinect 应用在于术室，在术中，手术者可通过体感控制查看患者的影像资料，大大方便了医生手术，减少了手术室的人员流动。最近，微软还试着将 Kinect 感应器用作外科手术的协助机器，伦敦的一位外科医生已经利用改进过的 Kinect 设备在动脉瘤手术中做了尝试。2.Kinect 工作原理2.1 Kinect 硬件设备剖析目前市场上主要有两款 Kinect for Xbox360 和 Kinect for

8、windows，两款 Kinect 并无本质上的区别。从外观上看，Kinect 也有三只眼睛，如图 1.1 所示，它们从左往右分别是红外投影机、彩色摄像头、红外深度投影投。此外，Kinect 还有四只耳朵L 形布局的麦克风阵列。将 Kinect 拆解，我们将得到图 1.2 所示的硬件组成部分。表 1.1 Kinect 硬件组成外壳、底座及 4 个不同类型的螺钉Moving Touch 传动马达电动机（用于仰角控制）散热风扇彩色摄像头红外摄像头红外投影机麦克风阵列(4 个)3 部分主板14 种关键芯片图 1.1 Kinect 传感器图 1.2 拆解后的 Kinect2.2 Kinect 的工作原

9、理作为输入设备的体感器 Kinect。它能提供包括深度数据流、彩色视频流、原始音频数据等三大类的原始数据信息，这三大数据信息分别对应骨骼跟踪(包括动作识别)、身份识别、语音识别等三种功能。(1)骨骼跟踪是 Kinect 体感操作的基础，其在允许的延时范围内，快速构建人体躯干，肢体，头部，手指。关节点连接在一起就构成了一个“火柴人”。动作识别的基础是骨骼跟踪，广义上的识别内容包括肢体运动，手势，以及静态姿势。(2)人脸识别是整个身份识别中最重要的一个部分。首先定位人脸的存在，其次基于脸部特征，对输入的人脸图像或视频流进行分析，如脸的位置、大小和各个主要面部器官的位置信息等，根据这些信息，提取每个

10、人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人的身份。(3)语音识别包括许多层次的技术，比如声音强度，语种识别，命令识别，情感检测等多个方面。Kinect 利用 4 个麦克风阵列来扑捉外界的音频数据流，通过音频增强效果来屏蔽环境中的噪声。在一定的空间范围内，Kinect 也能够识别。2.3 Kinect for windows SDK(1)Kinect 应用开发本质上并不复杂，通过一些基本的 SDK 和 windows 编程技巧即可，比如彩色图像视频流、深度图像视频流的采集、骨骼跟踪、音频处理、语音识别等算法。基于 Kinect 的甩手动作计数器设计主要是依靠其“骨骼跟踪”

11、功能。最多可识别六位用户，两位用户的骨骼。SDK 可以提供 20 个骨骼关节点的三维坐标，虽然关节的分布在全身各处，但是头部只设定了一个点，以此无法识别人体正面与背面。Kinect for windows 还具备音频功能，利用 Kinect 安装 4 个麦克风阵列可在左 50到右 50的范围内推断用户的说话音源。(2)Kinect for windows 体系结构中，Kinect 传感器提供原始的数据流给 SDK，这些数据流包括深度数据流，彩色图像数据流和音频数据流。通过 Kinect 可以直接获取这些数据流，并在此基础上进行应用开发。如图 1.3 所示。图 1.3 应用程序与 Kinect

12、传感器及驱动程序、SDK 之间的交互(3)Kinect SDK 还封装了骨骼跟踪等高层 NUI API 供程序调用，在 Kinect 的视野范围内，通过主动跟踪一到两名运动的人体，通过对人体的 20 个关节点进行三维建模以完成骨骼追踪。在骨骼追踪的基础上可以完成一系列开发动作识别，体感操作等应用。这也是本设计选用 Kinect 完成甩手臂计数器设计的主要原因。3.医学自主康复现状分析3.1 康复训练对于很多疾病而言，在医学药物手术治疗后期往往需要进行强大的康复训练干预，以达到康复的目的，某一相同的康复训练内容可能要经过成百上千次重复训练才能达到预期的目的。这一过程往往需要患者自主完成，但是由于

13、现今医疗资源的限制，患者进行康复训练的时候往往只能按照医嘱自行决定训练量，然后将结果反馈给医生，这一过程或多或少存在一些问题。不正当的训练往往不光达不到预期康复效果，可能还会适得其反。基于以上康复需要，本设计基于体感器 Kinect，设计基于甩手臂的计数器，一方面通过 Kinect 采集患者关节点坐标，跟踪康复进度，引导患者进行康复训练，另一方面通过显示器显示虚拟人物和计数器，计数器实时记录患者某一动作的运动量（本设计以甩手臂为对象）。这样既可以让患者实时了解自己康复的训练量，又可以将数据与医院平台进行数据交换，让主治医生了解患者康复程度，进一步计划下一步康复训练。3.2 甩手疗法简介甩手疗法

14、又名甩手功，是道家道引强身治病、安乐延年的功法，60 年代流行于台湾香港华人社会，甩手十九决记载：“上宜虚，下宜实。头宜悬，口宜垂。齿宜叩，舌宜抵，津宜嚥。胸宜絮，背宜拔，腰宜轴，臂宜摇，肘宜沉，腕宜重，手宜划，腹宜实，跨宜松，肛宜提，跟宜石，趾宜抓”。其特点是“上虚下实”，动作柔和，精神集中，两手摇动。这样可以改变体质上盛下虚的状态（如高血压、头部发热、四肢冰冷），使下部坚固、上身轻松，疾病自去。修道人入门时多传此功，做为袪病治病与强健身心之用。而现在比较流行的甩手疗法是达摩易筋甩手功，其动作要领十分简单，甩手时，身体笔直站立，脚趾用力抓地，双脚与肩部齐平，双手前后自然摆动，向后稍用力，每摆

15、动五个周期，双膝微曲。正是由于动作简单且不受场地限制，所以是一项特别受欢迎的健身兼体育运动。甩手疗法其功效一方面体现在加快血液流向肢体末梢，打通经络，加快血液回流，促进新陈代谢，增强机体对氧的摄录，提高心肺功能。另一方面经过医学和体育方面的研究甩手疗法用于肩周炎，心血管疾病引起的上肢功能性障碍的康复训练。对关节活动度以及上肢的综合能力具有潜在的效果，可以用于医学上肢康复训练。总 结正如复旦大学复旦大学附属中山医院计算机网络中心主任阴忆青所说：“Kinect 技术目前还在不断完善中，离用最自然的方式与机器对话还有距离，但 Kinect 是一个新的起点，朝着这个方向又迈进了一步。”通过对体感器 K

16、inect 和医学康复的现状分析。利用体感器发展医学康复应用有很大的社会需求，同时也是人机交互趋势的一个方面。基于体感器的甩手臂动作计数器设计只是其中很小的一个方面，其目的在于需求人机结合与康复训练之间的关系，为进一步开发相应的应用提供一定的基础，培养自己设计和研发的初步能力。本设计需要解决的问题还有实时性和精确性。参考文献1百度百科 F. Kinect. http:/ Kincet 应用开发实战：用最自然的方式与机器对话M. 北京:机械工业出版社, 2012. 1-963杨文璐, 占婵. 基于 Kinect 传感器的康复训练系统J. 微型机与应用, 2015, (11): 86-924汤翾,

17、 黄襄念, 周杉. 基于 Kinect 的肩周炎康复训练动作识别系统研究J. 现代计算机（专业版）, 2014, (23): 53-555张诗潮, 钱冬明. 体感技术现状和发展研究J. 华东师范大学学报（自然科学版）, 2014, (2): 40-496姚倩 , 王丽, 侯筱婷. 基于 Kinect 的自主康复系统的设计与实现J. 电子产品世界, 2015, (8): 37-397显功. 值得推广的“甩手疗法”J. 现代养生, 2003, (9): 12-12.8Rinus, G, Verdonschot, Hlose, Guillemaud, Hobitiana, Rabenarivo, K

18、atsuo, Tamaoka. The Microsoft KINECT: A Novel Tool for Psycholinguistic ResearchJ. Open Journal of Modern Linguistics, 2015, (05): 291-3019Bjorn, Oskarsson, Nanette, C, Joyce, Evan, De, Bie, Alina, Nicorici, Ruzena, Bajcsy, Gregorij, Kurillo, Jay, J, Han. Upper extremity 3dimensional reachable workspace assessment in amyotrophic lateral sclerosis by Kinect sensorJ. Muscle Nerve, 2016, (2): 234-241