1、 毕业设计（论文）报告纸 i 编号 南京航空航天大学 毕业设计 题 目 基于树结构的人脸检测算法 研究及实现 学生姓名 学 号 学 院 计算机科学与技术专业 专 业 软件工程 班 级 指导教师 XXX 副教授 二 一六 年六月 毕业设计（论文）报告纸 ii 基于树结构的人脸检测算法的研究及实现 摘 要 人脸检测算法最早起源于人脸识别问题，也是人脸识别系统的关键步骤。人脸检测是一种能够在图像中确定是否 存在人脸， 并 返回人脸在图像中的位置和大小等相应信息的技术手段。人脸检测算法种类较多，但大都存在一定的局限性， 特别是当 人脸受外界因素干扰或自身发生姿态旋转变化时，会使得人脸 检测 的难度加大
2、，检测效率特别是 准确率 有所降低。而基于树结构的人脸检测算法融合多种人脸检测算法方案， 结合 树结构的特殊性实现对人脸检测算法的优化，并建立统一的人脸检测、姿态估计和关键点标记模型，进而实现人脸检测在效率和准确率上的提升。 本论文主要针对基于树结构的人脸检测算法技术展开研究，在 Matlab 中编程实现这一人脸检测系统。通过对具有代表性 的 Viola- Jones 人脸检测算法的研究， 实现 两组人脸检测算法的实验对比。 参考 评价标准确定基于树结构的人脸检测算法在人脸检测效率和准确率上存在优势，并 将 这一算法应用在大规模人脸图像数据中，为该算法在生活场景中的应用提供论据支持。 关键词
3、： 人脸检测，树结构， LFW 人脸数据库 毕业设计（论文）报告纸 iii The Research and Application of Face Detection Algorithm Based on Tree Structure Abstract The issue of face detection, derived from face recognition problem, is a significant procedure of face recognition system. Face detection is a kind of technical method that
4、 is capable of determining whether human face exists in the image, and returns the information of faces such as positions and sizes. Face detection has many kinds of methods: while these methods all have their own limitations, especially when faces have interferences of external environment or have
5、posture and rotate diversities, the difficulty of detection would increase much and the accuracy would correspondingly decrease. However, Face detection algorithm based on tree structure merges several kinds of face detection algorithms, and combined the particularity of tree structure to achieve th
6、e optimization. Simultaneously, the algorithm established a unified model of face detection, pose estimation and landmark localization, thus improved the efficiency and accuracy of face detection. This thesis mainly researches on face detection algorithm based on tree structure, and the application
7、of the face detection system in Matlab. With researching the Viola- Jones face detection algorithm, we confronted two face detection algorithms in order to determine the former face detection algorithm makes great improvements in efficiency and accuracy of face detection. Hence, by utilizing the alg
8、orithm in large-scale face image databases, we can provide certifications in support of the exploit of such algorithm in life scene. Key Words： Face Detection; Tree structure; LFW face database 毕业设计（论文）报告纸 iv 目 录 摘 要 . Abstract . 第一章 引言 .1 1.1 研究背景 .1 1.2 相关研究现状 .2 1.3 课题主 要工作 .4 1.4 论文组织结构 .4 第二章 相
9、关理论 .5 2.1 Viola-Jones 人脸检测算法 .5 2.1.1 Viola-Jones 人脸检测算法简介 .5 2.1.2 基于 Viola-Jones 方法优化的人脸检测算法 .8 2.2 人脸数据库 .8 2.2.1 LFW 人脸数据库 .9 2.3 性能评价标准 .10 2.3.1 检测效率 . 11 2.3.2 检测准确率 .12 第三章 基于树结构的人脸检测算法 .13 3.1 算法概述 .13 3.1.1 人脸检测 .13 3.1.2 姿态估计 .13 3.1.3 关键点标记 .14 3.2 算法模型 .14 3.3 算法流程图 .16 3.4 算法伪代码 .17 第
10、四章 实验与分析 .19 4.1 基于树结构的人脸检测算法实验 .19 毕业设计（论文）报告纸 v 4.2 Viola-Jones 人脸检测算法与基于树结构的人脸检测算法对比实验 .22 第五章 总结与展望 .25 5.1 论文总结 .25 5.2 进一步研究工作 .26 参考文献 .27 致谢 .28 毕业设计（论文）报告纸 vi 第一章 引 言 1.1 研究背景 生物特征识别技术是当前个人身份鉴别问题的主要应用手段，它是一种基于个人独特的生理或行为特征进行自动身份鉴别的技术 1。与指纹、 虹膜 等其他识别方式相比， 人脸 识别最为直观和自然，并对用户动作要求最小， 因此 成为最易被人们所接
11、受的生物特征识别方式。 早期的人脸识别系统 一般都假设已知图像中人脸的位置和大小，即将上述信息作为输入内容，从而使得系统能够直接执行后续步骤。 但对于 一个标准的人脸识别系统来说， 自动检测人脸位置和大小理应由该系统自行完成。经过几十年的曲折发展， 人脸 识别问题目前已经形成相对成熟的技术手段。 一个 完备的人脸识别系统应该包括人脸检测、 特征 提取以及匹配识别三大基本过程 2， 如图 1.1 所示。 图 1.1 人脸识别系统三大基本过程 在如今通用的定义中，人脸检测是一种对于输入图像，判断其中是否存在人脸；并返回人脸在图像中 的位置和大小等相应信息的技术手段 3。人脸检测算法的精度将直接影响
12、着人脸识别整个系统的精度和性能。 人脸检测是一个较为复杂的模式检测问题，其难点主要存在于：一方面是人脸本身的内在变化：由于人脸具有相当复杂的细节变化，不同的外貌变化、不同的表情都可能对检测结果产生不同的影响；而人脸的遮挡，如眼镜、饰物或其他外部物体同样可能对检测结果产生不同的影响。 另一方面 ，是人脸的外在环境影响：因为成像角度的不同可能会体现出多种姿态的人脸， 从而 对人脸检测有所影响，如人脸角度的旋转等；光照的影响，如图像中人脸可能存在阴影部分 等情况 4。 因此，如何设计合理的算法完成人脸检测， 并在 不同环境下加以应用， 同时 提高识别效率和精度成为人脸检测算法的一个关键技术问题。本课
13、题所研究并实现的基于树结构的毕业设计（论文）报告纸 2 人脸检测算法就是一种利用树模型（ tree model）进行人脸检测的高效率算法，能够同时对图像进行人脸检测、姿态估计和关键点点标记三组操作，并在效率和精确度等方面都有较大改进。 1.2 相关研究现状 人脸检测作为人脸识别信息处理的一个关键步骤，近年来已经成为计算机视觉领域内的热门课题，随着研究的深入，国内外关于人脸检测方法的研究也日趋成熟。 比较著名的有美国麻省理工大学、 卡耐基 梅隆大学以及伊利诺伊大学等，国内的清华大学、 中国 科学院计算技术研究所等部门都有大量相关领域的研究。并且，在每年的 IEEE国际计算机视觉与模式识别会议 (
14、CVPR)、图像处理国际会议 (ICIP)等重要国际会议上都有大量关于人脸检测的论文，由此可以看到世界对人脸检测领域的重视 2。 从目前来看，人脸检测算法 主要 有：基于知识方法 (Knowledge-based Methods)、基于特征方法 ( Feature-based Approaches)、模板匹配方法 ( Template Matching Methods)和基于外观的人脸检测方法 (Appearance-based Methods)5。 基于知识的人脸检测方法是一种在检测前由研究者提出相关规则来描述人脸特征点的相关关系的检测方法，如预先设定每张人脸具有对称的两只眼睛、一个 鼻 子
15、和一张嘴巴以及相对位置关系等信息， 由此 可以在输入图像中首先提取出主要面部特征，再 进行 后续操作。这种方法具有理论上的局限性：如果规则是较为详尽而严格的，则可能会使得检测难度加大， 存在 检测失败的可能性；但如果规则过于通用而概括， 又会导致 检测错误率提升。并 且， 由于 人脸图像在人的不同姿态下可能能够获取到的关键信息是有变化甚至是不全面的，而列举所有姿态可能情况的成本较高，故而该方法具有一定的局限性。 基于特征方法主要利用的是人脸的明显不变特征进行人脸检测，如针对人脸五官的几何结构、 肤色 等特征进行检测。 主要有 低层特征分析、族群特征分析和变形模型方法三种 2。这三种方法分别根据
16、像素灰度和颜色信息、 人脸 器官集合分布信息、 复杂 形状模型进行人脸的检测， 三者 使用的特征依次变多， 因此 约束条件依次递减。 基于 特征方法的难点在于如何寻求相对较稳定的特征，由于图像所能呈现出来的特征 可能受外界环境如光照或遮挡等因素影响，因此不容易被检测到正确的人脸图像。 模板匹配方法主要利用人脸的形状模板进行人脸定位， 这样的 人脸模板也是由实验者在系统中主动定义的。 在检测 前，系统需要首先对图像进行灰度分布标准化处理，之后再进行多窗口模板匹配。当窗口数量达到一定程度时，图像窗口与模板之间的存在相关系数毕业设计（论文）报告纸 3 偏差， 因此 这一方法的计算量较大，若是进行多目
17、标模板匹配，则计算开销将成倍增长。随后 提出的快速模板匹配算法在一定程度上减小了计算开销 6， 但同时 这样的算法也在人脸检测精确度上有所牺牲。 基于外观的人脸检测方法 与模板匹配方法有一定的相似之处， 但 与模板匹配方法的模板预先定义的方式不同，基于外观的人脸检测方法的“模板”主要是系统从图像中学习生成的， 并 依靠统计分析策略以及机器学习技术等手段找到相应的人脸特征图像。这一人类检测算法主要包括特征脸的人脸检测方法 7和基于分布的人脸检测方法 8。在此方法中， 为了 提升性能，往往需要大范围地调整网络结构， 如 层的个数、学习速度等。 由于单一的人脸检测方法都具有一定的局限性， 因此 ，
18、将 以上的方法进行两种或两种以上的混合方法成为当前人脸检测研究领域的通用做法。本论文所研究的基于树结构 的人脸检测算法就是这样的一种混合上述多种方法的人脸检测算法。该算法借鉴了基于特征和模板匹配等技术方法，参考可变形部件模型 (Deformable Part-Based Models, DPM)和模板共享模型 (Shared Template Model)，并结合树结构的有关特性而形成了一种能够在效率和精确度上都有极大提升的人脸检测算法。 与传统的分布依次执行的人脸检测方法不同，基于树结构的人脸检测算法建立了一个能够同时进行人脸检测，姿态估计，和关键点标记统一模型 9。结合树的数据结构特性，此
19、模型在解决人脸因为 光照、 姿态 或其他环境影响而引起的人脸图像弹性变形方面十分有效，从而 能够捕捉人脸从 -（向左偏转 ） 到（向右偏转 ） 的变化以确定人脸姿态，因此该算法在精确度上较其他算法有较大提升。 同时，为了解决传统的人脸检测方法对于人脸图像的环境限制，如要求图像在实验室可控环境下拍摄， 从而 避免了光照、 姿态 等对人脸的影响，基于树结构的人脸检测算法使用了一种共享部件信息树结构 9来实现自然条件下的人脸检测（具体的算法策略见 3.2）。算法作者从 Flickr 中获得的自然条件下含有人脸图像的照片作为实验测试数据集， 在 实验条件中该算法也没 有因为相关环境的变化而导致识别精度
20、有所下降。由于条件限制， 本论文无法直接从 Flickr 中直接获得同样情形的照片作为实验测试数据集， 因此 ， 本 论文将选择同样能够反映自然场景的 LFW(Labeled Faces in the Wild)人脸数据库作为实验测试数据集，并且 由于图像数目更为庞大，本论文的实验测试数据能够真实地反映该算法的相关性能。 由此可见， 在这样 的条件下，基于树结构的人脸检测算法能够快速地完成通用图像的人脸检测，并保证精确度的提升， 从而 该算法在未来的生活场景中会有更为广阔的应用。 毕业设计（论文）报告纸 4 1.3 课题主要 工作 基于树结构的人脸检测算法具有相当突出的技术优势， 因此 ， 实
21、现 这一算法并进行实验对比将是本课题的主要工作。 具体研究工作如下： (1) 研究常用的人脸检测算法原理，分析不同人脸检测算法的特性和局限性， 并 重点研究作为实验对照组的 Viola- Jones 人脸检测算法及其优化算法； (2) 根据算法作者的相关文献资料，通过 Matlab 编程 实现 基于树结构的人脸检测算法，使其 能够完成人脸检测 ,姿势分析和关键点检测三组操作； (3) 通过部分人脸图像进行 Viola- Jones 人脸检测算法与基于树结构的人脸检测 算法的实验对比，确定后者在效率和精确度等方面所存在的优势； (4) 将人脸检测技术应用于大规模人脸图像数据中， 实现 相应的人脸
22、检测操作，从而为该算法在生活场景中的应用提供论据支持。 1.4 论文组织结构 第一章 引言：阐明本论文的研究背景，当前国内外的 相关 研究现状以及本论文的主要工作和结构。 第二章 相关理论技术： 介绍 本论文所涉及的相关知识， 包括 作为实验对照组的 Viola- Jones 人脸检测方法、 用作 测试的 LFW（ Labeled Faces in the Wild）人脸数据库集、 性能 评价标准等相关内 容， 重点 介绍了作为实验对比项的 Viola- Jones 人脸检测方法。 第三章 基于树结构的人脸检测算法：描述基于树结构模型的算法、 相关 定义、限定条件及推论， 详细 介绍该算法的结
23、构，并阐述该算法是如何将人脸定位、姿态估计和 关键 点标记三项工作结合到一个模型中进行操作。 第四章 实验分析：首先介绍基于树结构的人脸检测算法多种数据模型的实验对比结果，之后 进行 Viola- Jones 人脸检测算法与基于树结构的人脸检测算法的实验对比，随后在大量数据测试集的环境中比较两算法的效率和精确度， 并根据 性能评价标准得出实验结论 。 第五章 总结：对本论文的研究内容进行工作总结，针对论文的不足提出进一步研究目标，并提出人脸检测的未来发展应用方向。 毕业设计（论文）报告纸 5 第二章 相 关 理 论 2.1 Viola-Jones 人脸检测算法 openCV(Open Sour
24、ce Computer Vision Library)由一系列 C 函数和 C+类构成，是一个由Intel公司开发的用于开发模式识别、 计算机 视觉及实时图像处理的开源计算机视觉库 10-11。近些年来， 由于 openCV 开放平台在视觉和图像处理等方面有较大进步，利用 openCV 开放平台进行相应的研究开发已经成为趋势。在所有的人脸检测算法中，利用 openCV 实现的人脸检测算法是最为丰富多样的。 2001 年，由 Paul Viola 和 Michael Jones 提出的 Adaboost 算法 12是第一个实时的人脸检测算法。 Viola-Jones 人脸检测算法从根本上解决了人
25、脸检测的速率问题，并具有良好的检测效果。此后，多位研究者在这一基础上提出优化算法， 逐步 实现了人脸检测算法在效率和检测率上的提升。 鉴于 此算法在人脸检测领域具有较为深远的影响，本文将选择这一算法进行研究， 并选择 该算 法及优化算法作为实验对照组， 与 基于树结构的人脸检测算法进行实验测试对比， 以确定 两者在效率和准确率上的差异。 2.1.1 Viola-Jones人脸检测算法简介 Haar 型特征是 Viola-Jones 人脸检测算法的基础，也是计算机视觉领域常用的特征值描述算子。在 Viola 之前， Haar 型特征通常被划分为 3 种类型 3 种形式， Viola 等人在此基础之上做了改进，使用 3 种类型 4 种形式的 Haar 型特征（如图 2.1） 。 图 2.1 Viola-Jones 人脸检测算法所提出的 Haar 型特征 图 2.1(a)和 2.1(b)分别代表水平和垂直方向的边缘特征， 图 2.1(c)和 2.1(d)分别代表垂直(a) (b) (c) (d) (e)
