1、 本科生 毕业设计（论文）开题报告 题 目： 基于 Kinect 的视觉定位算法 学 院： 信息工程学院 系 自动化系 专 业： 测控技术与仪器 班 级： 学 号： 姓 名： 指导教师： 填表日期： 年 月 日 一、 选题的依据及意义： Kinect 是微软在 2009 年 6 月 2 日的 E3 大展上，正式公布的 XBOX360 体感周边外设。 Kinect 彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底的展现出来。网友普遍称其中文名为“啃奶特”。 它是一种 3D 体感摄影机 (开发代号“ Project Natal” )，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群
2、互动等功能。 玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox 玩家分享图片和信息等。 微软互动娱乐业务副总裁唐马特里克 (Don Mattrick)说：“这个技术让我们在不用发售新主机的情 况下就可以步入一个互动娱乐的新纪元。”唐马特里克还说：“先前，有种障碍把电动游戏玩家和所有人都分隔了开，”“现在，有了 Natal，大家都能加入游戏，使用发明史上最棒的遥控器 你。” 微软在洛杉矶的 E3 电子娱乐展上揭示 Kinect 技术。这场娱乐展正好办在电玩产业的转折期。过去电玩产业都被认为对经济衰退免疫，但是有迹象显示整体产业成长有减缓的迹象。 微软的 Kinect 不
3、需要使用任何控制器，它依靠相机捕捉 三维空间 中玩家的运动。微软指出它会让系统更加简易操作来吸引大众。 这个系统也辨识人脸，让玩家自动连上游戏。它还可辨认声音和接受命令。 在游戏示范中，玩家们用脚踢仅存在于屛幕中的足球，并用伸手设法拦阻进球。在驾驶游戏中，玩家转动想像中的方向盘来操控电视游戏中的赛车。在绘画游戏，玩家则是说出颜色 -“蓝色”或“浅褐色” -然后摇摆双臂来在数码式画板上飞溅一片油漆。 机器视觉 (Machine Vision),又被称为计算机视觉或人工视觉 ,是用计算机模拟人眼的视觉功能 ,从图像或图像序列中提取信息 ,对客观世界的三维景物和物体进行形态和运动识别。 机器视觉技术
4、已广泛应用于工业自动化生产线 ,各类检验和监视 ,视觉导航 ,图像自动解释、人机交互及虚拟现实等领域。基于机器视觉技术的交互式电子白板是其中极具发展前景的一项应用。 本文研究的基于机器视觉技术的交互式电子白板系统是依赖于双摄像头定位原理 ,在普通的白板上实现触控功能 ,从而使人与计算机之间的交互功能得以实现 ,这是交互式电子白板领域中一个崭新的发展方向。 为了提高交互式电子白板系统的目标识别准确性和计算实时性 ,本文提出了一种摄像头标定方法和一种目标定位算法 ,并在实际系统中进行了实验验证。为目标识别计算中最复杂的模块设计了硬件加速器 ,具体内容如下 : 1.研究了摄像头的透视投影模型以及两种
5、常规的摄像头标定方法 ,对这两种方法进行了实验和结果数据分析 ,经比对得出这两种方法均不适用于本系统的摄像头参数标定的结论 ,最后提出一种基于数据插值原理的标定方法 ,经大量的实验得到一组用于定位计算使用的摄像头偏转角度。 2.提出了一种定位算法 ,利用摄像头标定获得的参数和三角测量定 位方法实现了目标在白板上物理坐标的准确定位 ,并采用了一种时间插值方法解决了数据采集的时间不同步问题 ,消除了实时计算过程中的目标位置跳变。 3.为了提高系统工作的实时性 ,为图像处理这部分功能设计了硬件加速器 ,并通过了仿真验证 ,使目标识别的整体时间减少了。 二、国内外研究现状及发展趋势（含参考文献）： 移
6、动机器人的自主定位问题经过三十多年的发展，无论是理论方面还是实践方面都取得了相当大的进步。它的实践运用也越来越多，在危险场所救援等很多地方移动机器人表现出了越来越不可忽视的作用。在移动机器人的定位算法的学习过程 中，它利用自己携带的深度图像传感器来对未知环境中的数据进行采集，再对数据进行处理和分析，然后通过一系列的算法来求解出它的姿态，然后通过连续的进行上述的操作，可以构建出它本身的相对运动距离和方向。 作为人们活动功能的延伸，移动机器人能够达到一些人类无法到达的危险地区比如核反应堆内部、火山区域、地雷区域、火灾现场进行一些高危险的工作。也可以减轻人们的工作强度，可以帮助人们做一些很枯燥的工作
7、，节约劳动力，也可以更加规范标准的完成生产线的工作。 目前国外的 Pierre Plantard 等提出了基于 Kinect 的人机 工程学评估方法的验证 1。 Billy Y.L. Li 等研究了使用 Kinect 传感器的鲁棒性 RGB-D 人脸识别问题 2。Elham Dolatabadi 等研究了基于微软 Kinect V2 的兼容测量时空步态参数的有效性 3。 N. Namitha 等使用 Kinect RGB-D 传感器和 Kinect Fusion 进行点云绘图测量 4。 M. Bueno 等研究了 KinectFusion 的计量评估及其与 Microsoft Kinect 传
8、感器的比较 5。关于移动机器人的定位问题，研究者们进行了很多尝试，包括给机器人 添加各种各样的传感器，这也说明了现在这个问题很受研究者们的重视，具有一定的研究价值。 咱们国内的一些研究者们在这个问题上，也开展了很多研究。温熙等人研究了一种结合 Kinect 和惯性导航系统的方法来实现移动机器人的室内自主定位 6。高云峰等人研究了一种视觉里程计方法具有非常高的精度 7。李策等人提出了一种基于 Kinect 深度数据模拟激光扫描的 SLAM 算法 8，对室内未知环境进行二维地图创建。许允喜等人想出了一种立体的视觉定位的算法是基于双目相机的运动估计 9，该算法不使用运动后的特征点 3D 坐标 ,而直
9、接 利用其 2D 图像投影坐标。中国科学院研究生院的杨明操提出了基于 FPGA 的实时定位算法研究，该方法在实时数字摄影测量、机器人运动导航、飞行器主动视觉定位等领域具有重要的使用价值 10。 三、本课题研究内容： 针对传统方法即使用双目相机中所用传感器昂贵并且获取深度信息获取难度较大的问题，提出采用 Microsoft 发布的一款深度相机 Kinect 作为传感器，该相机具有十分强大的人机交互能力，可以轻松获得场景中的深度信息，并且可以做到深度信息和彩色信息的严格对应，从而使后续工作中特征点的选择和匹配变得十分简单和方便， 而且 Kinect 相机中带有强大的数据处理芯片，可以减轻计算机的运
10、算负荷，加快运算速度使得该系统的实时性有了很大的提高，促进了移动机器人视觉定位系统中前端的快速发展。 本文主要利用微软发布的 Kinect 相机作为传感器来采集周围环境中的彩色信息和颜色深度，并且能做到彩色信息和深度信息的严格一一对应，利用该方法不仅可以轻松的得到所需的数据，而且开发应用十分简洁方便，成本较低。得到数据之后首先分别利用 SIFT 和 SURF 特征点算法对彩色图像进行特征点采集，得到特征点之后，利用迭代最近点算法 (ICP)进行特征匹配，通过 PnP 算法进行相机姿态的求解即世界坐标系与当前相机坐标系的转换矩阵，利用转换矩阵将上一帧点云图与当前帧点云图合成一幅图像，同时记录下此
11、时相机的位置，并且估计它的移动距离。 四、本课题研究方案： 本文要求 利用 Kinect 相机采集彩色数据和深度数据，对数据进行特征点检测与匹配，通过利用 PnP 算法思想求解相机的姿态实现了简单的视觉里程计。还能利用 ICP 算法进行连续匹配生成了较清晰的三维地图。 五、 研究目标、主要特色及工作进度： Kinect 相机 相机 RGB-D 数据 数据特征点检测与匹配 PnP 算法思想 简易的视觉里程计（即视觉定位算法） 研究目标 ：视觉定位算法是实现机器人自主导航需要解决的两个十分重要的问题，能实现精确地定位和清晰的地图构建对推动机器人自主导航具有非常大的作用。本文解决了就基于 Kinec
12、t 的视觉定位算法。 主要特色 ：利用 Kinect 相机采集彩色数据和深度数据，对数据进行特征点检测与匹配，通过利用 PnP 算法思想求解相机的姿态实现了简单的视觉里程计。还能利用 ICP 算法进行连续匹配生成了较清晰的三维地图。 第一阶段： 2017 年 2 月 28 日 2017 年 3 月 13 日： 查找文献、外文翻译及方案设计，完成开题报告。 第二阶段： 2017 年 3 月 14 日 2017 年 3 月 27 日： 软件方案分析。 第三阶段： 2017 年 3 月 28 日 2017 年 4 月 10 日：软件设计。 第四阶段： 2017 年 4 月 11 日 2017 年 4
13、 月 24 日： 实验调试及完善设计方案。 第五阶段： 2017 年 4 月 25 日 2017 年 5 月 8 日： 撰写毕业论文初稿。 第六阶段： 2017 年 5 月 9 日 2017 年 5 月 21 日： 毕业论文修改及 ppt 制作，准备答辩。 六、参考文献： 1Plantard P, Shum H P H, Pierres A S L, et al. Validation of an ergo nomic assessment method using Kinect data in real workplace conditionsJ. Applied Ergonomics, 2
14、016. 2Li B Y L, Xue M, Mian A, et al. Robust RGB-D face recognition using Kinect sensor J. Neurocomputing, 2016, 214:93-108. 3Dolatabadi E, Taati B, Mihailidis A. Concurrent validity of the Microsoft Kinect for Windows v2 for measuring spatiotemporal gait parametersJ. Medical Engineering & Physics,
15、2016, 38(9):952-958. 4Namitha N, Vaitheeswaran S M, Jayasree V K, et al. Point Cloud Mapping Measurements Using Kinect RGB-D Sensor and Kinect Fusion for Visual Odometry J. Procedia Computer Science, 2016, 89:209-212. 5Bueno M, Daz-Vilario L, Martnez-Snchez J, et al. Metrological evaluation of Kinec
16、tFusion and its comparison with Microsoft Kinect sensorJ. Measurement, 2015, 73:137-145. 6温熙 ,郭杭 . 室内移动机器人自定位方法 J. 测绘科学 ,2016,(06):97-101. 7高云峰 ,李伟超 ,李建辉 . 室内移动机器人视觉里程计研究 J. 传感器与微系统 ,2012,(02):26-29. 8李策 ,魏豪左 ,卢冰 ,陈晓雷 . 基于深度视觉的 SLAM 算法研究与实现 J. 计算机工程与设计 ,2017,(04):1062-1066. 9许允喜 ,蒋云良 ,陈方 . 基于 2D-3D
17、双目运动估计的立体视觉定位算法 J. 光电工程 ,2011,(09):104-110. 10杨明操 . 基于 FPGA 的实时定位算法研究 D.中国科学院研究生院 (西安光学精密机械研究所 ),2015. 11Mentiplay B F, Perraton L G, Bower K J, et al. Gait assessment using the Microsoft Xbox One Kinect: Concurrent validity and inter-day reliability of spatiotemporal and kinematic variablesJ. Journ
18、al of Biomechanics, 2015, 48(10):2166-2170. 12刘晓敏 , 崔月盟 . 基于图像处理的移动机器人视觉定位方法 J. 天津职业大学学报 , 2007, 17(3):75-78. 13 韩峰 , 韩文静 . 一种改进 SURF 算法的视觉定位 J. 电光与控制 , 2016(7):29-33. 14马丽丽 , 曹春梅 , 陈金广 ,等 . 基于 RANSAC 的特征点匹配算法 J. 计算机工程与设计 , 2016, 37(7):1794-1797. 15朱永丰 , 朱述龙 , 张静静 ,等 . 基于 ORB 特征的单目视觉定位算法研究 J. 计算机科学
19、, 2016, 43(S1). 16黄忠义 , 李建胜 , 郝向阳 ,等 . Kinect 点云的平面提取算法研究 J. 全球定位系统 , 2016, 41(2):85-88. 17Springer S, Yogev S G. Validity of the Kinect for Gait Assessment: A Focused ReviewJ. Sensors, 2016, 16(2):194. 18戴金波 , 赵宏伟 , 刘君玲 ,等 . 一种针对于描述子的 SIFT 简化方法 J. 仪器仪表学报 , 2012, 33(10):2255-2262. 19王渊民 . 基于 SIFT 算法
20、的图像快速匹配系统设计 D. 成都理工大学 , 2014. 20Lu H, Zhang Y, Li Y, et al. Depth Map Reconstruction for Underwater Kinect Camera Using Inpainting and Local Image Mode FilteringJ. IEEE Access, PP(99):1-1. 21江龙 . 基于 SURF特征的单目视觉 SLAM技术研究与实现 D. 南京理工大学 , 2012. 22丁洁琼 . 基于 RGB-D 的 SLAM 算法研究 D. 西安电子科技大学 , 2014. 23潘建平 , 郝建
21、明 , 赵继萍 . 基于 SURF 的图像配准改进算法 J. 国土资源遥感 , 2017, 29(1):110-115. 24Arici T, Celebi S, Aydin A S, et al. Discriminant boosted dynamic time warping and its application to gesture recognitionC/ International Conference on Computer Vision Theory and Applications. IEEE, 2014:223-231. 25刘坤 , 葛俊锋 , 罗予频 ,等 . 概率引导的随机采样一致性算法 J. 计算机辅助设计与图形学学报 , 2009, 21(5):657-662. 26Londono C, Castro R, Bedoya H, et al. Application to support the process of training sign language through Microsoft KinectC/ Computing Colombian Conference. 2015:463-469.
