序列图像中人眼的定位与跟踪-毕业论文.doc

1、 本科毕业论文 (科研训练、毕业设计 ) 题 目：序列图像中人眼的定位与跟踪 姓 名： 学 院：软件学院 系：软件工程 专 业：软件工程 年 级： 学 号： 指导教师（校内）： 职称： 年 月I 序列图像中人眼的定位与跟踪 摘要 当前的眼睛定位算法大多速度较慢，实时性不强。大多数快速的眼睛跟踪算法容易受到光照变化和姿态变化等的影响。针对这些问题， 本文提出了一种在复杂背景，姿态变化条件下的实时人眼定位与跟踪 算法 。 首先使用 AdaBoost 算法训练眼睛检测分类器，用这个层叠检测分类器粗略检测人眼区域，得到多个眼睛点；然后利用人眼的几何特征建立规则确定人眼对的位置与大小并找出眼球的位置；

2、接着 以眼球为初始窗口，应用 CamShift 算法对眼睛进行跟踪。当 姿势变化或光照变化引起 CamShift 跟踪失效时，再次应用分类器检测确认眼睛点，继续跟踪。本算法的主要特点是利用几何特征创建规则确定眼睛位置以及跟踪丢失时的隔帧重新检测眼睛的算法。 我采用 VC6.0 开发环境，使用 MFC 和 OpenCV 类库，开发了一个序列图像人眼跟踪实验程序。 实验证明，本 算法可以有效地，快速地跟踪人眼，并且有一定 的 鲁棒性，可以应用于眼睛信息提取，视线跟踪 ，疲劳检测等许多领域。 关键词 人眼定位 人眼跟踪 AdaBoost CamShift II Human Eyes Detectio

3、n and Tracking of Image Sequences Abstract Currently most eyes detection algorithms are so slow that cannot be applied to real-time environment, while most rapid eyes tracking algorithms are easily impacted by brightness variation and orientation variation. In order to solve such limitations, a real

4、-time human eyes detection and tracking method under complex background and face orientation variation is proposed. First the eyes detector is trained by AdaBoost algorithm, and then this cascade detection classifier is used to detect the candidate eye pair areas. Then a rule is established accordin

5、g to the geometric features of human eye s to validate the exact eyes pairs position and size and find out the position of the eyeballs. Finally use the eyeball as the initial search window, apply the CamShift to the window to track the eyes. When the tracking is missed because of orientation change

6、 of illumination change, the detector is applied again to find out the eyes, and then continue tracking. The main innovation of this method is validating the eyes position by geometric rules and the algorithm to redetect eyes after a few frames. Human eyes tracking program is developed under VC6.0 i

7、ntegrated development environment, using MFC and OpenCV library. Experiments show that the method can effectively and rapidly track the human eyes while its robotic. This method can be used in eyes information extraction, eye gaze tracking, fatigue detection and many other fields. Key words Eyes Det

8、ection Eyes Tracking AdaBoost CamShift III 目 录 第一章 引言 . 1 1.1 研究背景及意义 . 1 1.2 研究现状 . 1 1.3 主要内容及安排 . 3 第二章 相关理论介绍 . 4 2.1 图像基本理论 . 4 2.1.1 图像的数字表示 . 4 2.1.2 图像处理 . 4 2.2 计算机视觉理论 . 4 2.3 模式识别理论 . 5 2.4 开发工具和语言 . 5 2.4.1 Visual C+ . 5 2.4.2 MFC . 5 2.4.1 OpenCV . 6 第三章 人眼检测 . 7 3.1 人眼检测算法概述 . 7 3.2 基于

9、 AdaBoost 的层叠分类器的检测算法 . 7 3.2.1 算法概述 . 7 3.2.2 局部 Harr 特征及其计算 . 7 3.2.3 AdaBoost 级联分类器 . 10 3.2.4 人脸几何模型 . 12 3.2.5 算法实现 . 13 第四章 人眼跟踪 . 17 4.1 人眼跟踪算法概述 . 17 4.2 Mean Shift 算法 . 17 4.2.1 Mean Shift 向量 . 17 4.2.2 核函数 . 19 IV 4.2.3 Mean Shift 算法步骤 . 20 4.3 CamShift 算法 . 20 4.3.1 CamShift 颜色模型 . 20 4.3

10、.2 CamShift 算法流程 . 21 4.3.3 跟踪错误 处理 . 23 4.3.4 跟踪算法实现的细节 . 24 第五章 实验结果与分析 . 25 5.1 界面设计 . 25 5.2 实验结果 . 26 第六章 总结 . 28 致谢语 . 29 参考文献 . 30 V Contents Chapter 1 Introduction . 1 1.1 Background and Significance . 1 1.2 Current Research Status . 1 1.3 Arrange of Contents . 3 Chapter 2 Relative Theory .

11、4 2.1 Image Theory . 4 2.1.1 Numerical Representation of Image . 4 2.1.2 Image Processing . 4 2.2 Computer Vision Theory . 4 2.3 Pattern Recognition Theory . 5 2.4 Develop Tools and Languages . 5 2.4.1 Visual C+ . 5 2.4.2 MFC . 5 2.4.1 OpenCV . 6 Chapter 3 Eyes Detection. 7 3.1 Overview . 7 3.2 Casc

12、ade Classifier Based on AdaBoost . 7 3.2.1 Algorithm Overview . 7 3.2.2 Harr Feature and its Calculation . 7 3.2.3 AdaBoost Cascade Classifier . 10 3.2.4 Geometrical Model of Human Face. 12 3.2.5 Implementation of Algorithm . 13 Chapter 4 Eyes Tracking . 17 4.1 Overview . 17 4.2 Mean Shift Algorithm

13、 . 17 4.2.1 Mean Shift Vector . 17 4.2.2 Kernel Function. 19 VI 4.2.3 Flow of Mean Shift Algorithm. 20 4.3 CamShift Algorithmn . 20 4.3.1 CamShift Color Model. 20 4.3.2 Flow of CamShift Algorithm . 21 4.3.3 Tracking Error Handle . 23 4.3.4 Implementation of Algorithm . 24 Chapter 5 Result of Experim

14、ents . 25 5.1 User Interface Design. 25 5.2 Expermental Result . 26 Chapter 6 Summary . 28 Acknowledgement . 29 References . 30 厦门大学本科毕业论文 1 第一章 引言 1.1 研究背景及意义 人眼检测是指任意 给定一个图像或者一组图像序列，判定该图或图像序列中是否存在人眼， 如果存在，则返回其位置和大小的过程。人眼跟踪是指在图像序列中检测其中 是否 存在人眼，若存在，则返回其位置和大小的过程。 实时人眼检测与跟踪技术是计算机视觉领域的一个重要研究课题，涉及到计算机视觉

15、 、 图像分析 与 处理 、 生理学 、人工智能、模式识别等多个学科。 人眼检测与跟踪是伴随着人脸识别技术发展起来的。人脸识别的研究开始于上世纪 60 年代， 近 年 来 人脸检测 逐渐 成为研究的热点， 各种 新 方法层出不穷。人眼检测作为人 脸识别的基础之一，也得到了长足的发展。 人眼检测与跟踪技术的研究具有很大的理论和实用价值，在许多领域都有广阔的应用前景。人眼检测与跟踪在医疗卫生、交通安全、公共安全保障、军事、刑侦等领域都有很大的应用价值。在医疗方面，我们可以通过人眼的检测与跟踪，提取眼睛的信息，结合中医望诊理论，判断一个人的健康状况；在交通安全方面，通过对驾驶员眼睛的跟踪，可以判断是

16、否疲劳驾驶从而发出警报，避免交通事故的发生，节约人力和财力资源；在刑侦方面， 审问犯人时， 通过跟踪犯人眼睛，提取眼睛信息，结合心理学的方法，判断 犯人的心理活动； 在人机接口应用方面，可以通过眼神的判断，用眼睛的运动 来 控制机器。因此，人眼检测与跟踪的研究具有深远的现实意义。 1.2 研究现状 人眼检测 随着人脸检测的发展而发展，在国内外都有很多算法提出。目前主流的算法都是先对人脸进行定位，然后在人脸中 再 进行眼睛的细定位。目前主流的人脸定位方法主要有模板匹配的算法，基于肤色模型的算法和基于统计模型的算法。双眼细定位也有多种算法，例如 区域分割法 、 边缘提取法 、 灰度投影法 、 模板

17、匹配法 、 可变模板匹配 等。 区域分割法 首先对人眼的二值图像进行区域分割，再设定一系列经验值和支持函数粗定厦门大学本科毕业论文 2 位眼睛 ，该方法碰到人眼闭合、戴眼镜等情况时定位失败 。 边缘提取法 首先对人脸图像进行边缘提取，然后用霍夫变换检测眼球，构造一个包括眼睛、眼睑的眼部模板，用一系列函数从能量角度找出眼睑，该方法需要做大量预处理，参数过多的眼部模板不适合用于个体差异太大的人脸 ， 而且 在虹膜等边缘提取中，容易受到睫毛、光斑等随机噪声的影响 。 灰度投影法 对人脸 图像进行水平和垂直方向的投影，根据波峰波谷的分布信息来定位眼睛。 这种方法定位速度较快，但波峰波谷的分布对不同的人

18、脸和姿态的变化非常敏感，定位精度较差，并 且 易陷入局部最小而导致定位失败 ； 特 别是 当人脸倾斜时容易失败 。 模板匹配是一种有效的模式识别，它能利用图像信息和有关识别模式的先验知识，更加直接地反映图像之间的相似度 ，但需要对人脸图像的大小和方向进行归一化 。传统的模板匹配方法首先要分别得到左眼和右眼模板，然后分别用左右眼模板在图像中进行匹配，得到两个相似度最大的点作为定位的眼睛，这种方法使用方便但计算量较大，定位准确率较低 。改进的模板匹配法 将左右眼进行合成，形成通用眼睛模板 ，再 利用眼睛的几何信息，排除不合理的眼睛对 ，可以提高定位的速度。 当前 人眼跟踪算法主要有 Mean Sh

19、ift 算法， Kalman滤波算法和粒子滤波算法等。 Mean Shift 算法最早是由 Fukumage 等人于 1975 年提出的，下文的人眼跟踪部分将对此做详细的介绍。 Kalman滤波方法是一种对动态系统的状态序列进行线性最小方差估计的算法。 它不需要把以前的所有数据 保存在存储器内，可以以任意一点作为观测起点，只需要处理每一时刻取到的新的测量值就可以计 算出最优状态估计。因此它的计算量小、存储量低、实时性高。同时，它 能利用实际的运动参数对未来的预测不断地进行修改，从而提高估计的精度 。 粒子滤波器算法 1是一种基于贝叶斯推理和蒙特 卡罗方法的非线性、非高斯动态系统的实时推理算法

20、。 因其具有灵活、易于实现、并行化等特点 ， 成为统计学、信号处理、人工智能等领域新的研究热点 ， 并被广泛地应用于目标跟踪等领域。粒子滤波器算法中存在的主要问题是再取样步骤带来的粒子枯竭 问题 。 当前的人眼检测与跟踪算法大部分都基于以上方法的组合。例如，基于 Mean Shift 算法和粒子滤波器的人眼跟踪 2，以及基于规则与卡尔曼滤波的人眼跟踪 3。这两个方法实时性好，但是 检测率不高 。 基于 AdaBoost 和 KLT边缘检测的眼睛定位算法 4精度高，但是速度较慢。文献 5用 SVM 进行定位，用 Kalman 滤波结合 Mean Shift 进行跟踪，速度和精度都可以接受，但是需

21、要额外的 IR 设备。 厦门大学本科毕业论文 3 1.3 主要内容及安排 本文主要 探索一种实时人眼定位和跟踪方法，它的主要过程可分为人眼检测和人眼跟踪。摄像头拍摄的视频 文件 作为系统的输入部分，对每一帧图像进行人眼检测或跟踪，实时输出标识了眼睛位置的视频。 系统的流程如图 11 所示： 获 取 图 像人 眼 检 测 人 眼 跟 踪跟 踪 误 差人 眼 已 检 测否是跟 踪 丢 失跟 踪 正 常图 1-1 系统流程图 本文试图将计算机视觉技术，图像处理知识以及模式 识别理论相结合，利用已有的研究成果，建立更加有效实用的人眼跟踪系统。 文章结构安排如下： 第一章 引言 ： 介绍了 实时人眼定位和跟踪的研究背景，发展情况以及国内外的研究现状，阐明本文工作的意义和内容安排。 第二章 相关理论介绍 ： 介绍本文所使用的