1、 毕业设计（论文）题目：基于肤色分割和匹配的人脸识别算法研究 系 别 信息工程系专业名称 通信工程班级学号 098204233学生姓名 张翀指导教师 李忠民二O一三年五月 南昌航空大学科技学院学士学位论文 毕业设计（论文）任务书I、毕业设计(论文)题目：基于肤色分割和匹配的人脸识别算法研究II、毕 业设计(论文)使用的原始资料(数据)及设计技术要求：为了把人脸区域从非人脸区域分割出来，需要使用适合不同肤色和不同光照条件的可靠肤色模型。基于肤色分割和匹配的人脸识别算法研究主要运用Matlab软件编程实现对人脸图像进行图像转换、消除噪声、填孔处理、图像重构和边缘检测，从而实现基于肤色分割和匹配的人
2、脸识别算法。具体要求如下：1、基于肤色分割和匹配的人脸识别的一般过程；2、采用Matlab实现图像转换、消除噪声、填孔处理、图像重构和边缘检测等相关算法；3、比较各种算法的处理效果； 4、采用Matlab实现基于肤色分割和匹配的人脸识别算法；5、翻译一篇相关的英文资料。III、毕 业设计(论文)工作内容及完成时间： 第0103周：资料查找、方案论证、英文资料翻译、开题报告撰写； 第0411周：基于肤色分割和匹配的人脸识别算法设计；编写程序、仿真测试； 第1215周：对比测试； 第1618周：毕业论文撰写，答辩。 、主 要参考资料：1. 美恩格尔 W K. Digital Signal Proc
3、essing Using MATLAB M. 西安:西安交通大学出版社，20022. 美 Nakamura S. Numerical Analysis and Graphic Visualization with MATLAB(Second Edition) M.北京:电子工业出版社，20023. 美冈萨雷斯. 数字图像处理（MATLAB版）M. 北京：电子工业出版社，20054. 美冈萨雷斯. 数字图像处理（第二版）M. 北京：电子工业出版社，200720075. 张化光,刘鑫蕊,孙秋野.MATLAB/SIMULINK实用教程M.北京:人民邮电出版社,20116. 刘文达,胡荣强. 基于肤色
4、和模板匹配模型的人脸识别新方法研究J. 信息科技,2008：144-1457. 谢毓湘,王卫威,栾悉道等. 基于肤色与模板匹配的人脸识别J. 计算机工程与科学,2008,30(6): 54-56,69 信息工程 系 电子信息工程 专业类 0982042 班学生（签名）： 填写日期： 2013 年 1 月 10 日指导教师（签名）： 助理指导教师(并指出所负责的部分)：电子信息工程 系主任（签名）： 学士学位论文原创性声明本人声明，所呈交的论文是本人在导师的指导下独立完成的研究成果。除了文中特别加以标注引用的内容外，本论文不包含法律意义上已属于他人的任何形式的研究成果,也不包含本人已用于其他学位
5、申请的论文或成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式表明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期：学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权南昌航空大学科技学院可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 作者签名： 日期：导师签名： 日期：基于肤色分割和匹配的人脸识别算法研究 学生姓名：张翀 班级：0982042 指导老师：李忠民摘要：人脸识别技术是生物特征识别
6、技术中应用最广的一项技术,也是计算机视觉和模式识别领域研究得最多的一个课题。随着科技的发展，传统的身份验证已很难适应人们的需求。基于虹膜和指纹的生物特征验证对采集条件要求高，很难大范围推广。同其他生物特征识别技术相比（比如虹膜、指纹），人脸识别技术具有操作简单、结果直观、隐蔽性好的优越性。因此，人脸识别技术在信息安全、刑事侦破、公共事业等领域具有广泛的应用前景。人脸识别技术就是通过计算机提取人脸的特征，并根据这些特征进行身份验证的一种技术。它涉及模式识别、图像处理、计算机视觉、生理学、心理学等诸多学科的知识，是当前研究的热点之一。本文提出了一种基于肤色与模板匹配的人脸识别算法。 本文首先利用颜
7、色空间特性，对人脸肤色的聚类特性进行了研究，基于不同的颜色空间肤色聚类结果的对比，本文选择 YCbCr 颜色模型来进行肤色分割。依据人的肤色信息，在 YCbCr 空间进行肤色映射生成二值图像，然后根据人脸的形状特征确定人脸所在位置。并对灰度图象进行剪切提取，为后续识别做好准备。 其次，文章研究了滤波器，填空处理，图像重构和边缘检测从而实现基于肤色分割和匹配的人脸识别算法。关键词：人脸识别，肤色分割,模板匹配 指导老师签名：IResearch on face recognition algorithm based on skin color segmentation and matching S
8、tudent name : Zhang Chong Class: 0982042 Supervisor : Li ZhongminAbstract：Face recognition is one of the most widely used Technologies in the field of biometrics recognition, and it is The famous topic in computer vision and pattern recognition. The biologic characteristic based identity recognition
9、 such as iris and dactylogram needs very strict information collection conditions, which makes it difficult to be used practically. Compared to other biometrics（such as iris, fingerprint）, face recognition technique is simpler, more intuitive, and having more hidden capability. Therefore, face recog
10、nition have great potential in a wide range of applications in information security, criminal investigation, public utilities and other fields. The face recognition is a technique that extracts visual features, and distinguishes one face from another based on these features. It is a research area sp
11、anning several disciplines such as image processing, pattern recognition, computer vision, physiology and psychology. Now it is one of the key issues. This paper presents an algorithm for face recognition using skin color and template matching. First, we studied the clustering characteristics of fac
12、e skin color under some color spaces, and then we choose one of them namely YCbCr among the models for skin segmentation. By the study, get a face based on the skin color and the shape feature. Then pick-up the face areas from the gray image, prepare for face recognition. This paper also researches
13、the filter, fill in the blank processing, image reconstruction and edge detection so as to realize the face recognition algorithm based on skin color segmentation and matching. Keywords：face recognition skin color segmentation template matching Signature of Supervisor: II 目 录 1 绪论1.1研究背景与意义.11.2国内外研
14、究现状.21.2.1人脸识别的发展过程.21.2.2目前的主流识别方法.21.2.3尚待解决的问题.41.3本文的研究重点及内容安排.4 2 算法理论与实现原理2.1常见色彩空间比较.62.1.1 RGB空间.7 2.1.2 HSI空间.82.1.3 CMY/CMYK彩色空间.10 2.1.4 YIQ色彩空间.12 2.1.5 YUV彩色空间.122.1.6 YCbCr色彩空间.13 2.2肤色分割理论.13 2.3常见肤色模型比较.142.3.1 区域模型.142.3.2 简单高斯模型.142.3.3 混合高斯模型.142.3.4 直方图模型.152.3.5 YCbCr 空间肤色模型.15
15、3 系统设计 3.1系统流程.173.2基于肤色的人脸检测算法.173.2.1肤色建模.183.2.2肤色模型在人脸检测的后期验证中的应用.193.3数学形态学操作.193.4系统的概要设计.213.5具体算法设计.233.5.1相似度计算.233.5.2二值化算法.243.5.3灰度均衡.243.6建立YCbCr肤色模型.253.7肤色分割步骤.263.8图象的边缘检测和锐化处理.273.9人脸检测.29 4 基于MATLAB的实现步骤及分析4.1将RGB空间转换为YCbCr空间.314.2将彩色图像转换为灰度图像.314.3消除噪声.324.4对图像做填孔处理.334.5图像重构.344.
16、6相关匹配.354.7断开连接处理.364.8设计模板.374.9边缘检测.394.10系统GUI设计.414.10.1导入图像文件及处理.41 5 总结与展望5.1总结.435.2展望.43参考文献.44致 谢.46附 录.47 1 绪论1.1研究背景与意义 人脸识别技术是一种生物识别技术。生物识别技术，就是指通过获取和分析人的身体或行为特征来实现身份的自动鉴别或验证，这些特征包括先天遗传的生理特征，如指纹、虹膜等，也包括后天习惯形成的行为特征，如手写签名、步态等。人脸识别技术，就是通过计算机获取人脸的特征，然后根据这些特征进行身份识别或验证的一种技术。人脸识别技术涉及到图像处理技术、计算机
17、视觉技术、模式识别技术等众多领域。 相较与其它基于生物特征的识别方法,它具有它特有的优势。首先，人脸识别采用的是非接触性采集,方法友好而方便,使用者不会有任何心理障碍,亦不会造成任何侵犯性,容易被人们所接受。其次,人脸识别的结果可以提供许多其它识别方法不能提供的信息,如性别、表情、年龄等,这一特点也大大地扩展了人脸识别的应用前景。随着计算机技术的飞速发展,人脸识别技术飞速发展也扩散到了各个领域。如计算机安全、机器视觉、门禁系统、医学诊断系统、智能监控系统以及三维动画等。其中最为常见的应用有:(l)视频监控。在银行、公园、停车场等许多公共场到处都装有视频监控,当有异常情况或有陌生人闯入时,需要实
18、时跟踪、监控、识别和报警等。(2)证件验证。在海关、机场等场所,都需要检验人的身份。一般身份证和护照上都会有持有人的照片,使用人脸识别,就可以由机器代替人来完成验证识别的工作,实现自动化的智能管理。(3)刑侦破案。通常情况下公安部门的系统里存储有嫌疑犯的照片,当通过作案现场或其他途径获得嫌疑犯的照片或其面部特征描述之后,可以从数据库中迅速查找确认,大大提高刑侦破案的准确性的效率。(4)入口控制。入口控制的范围比较广,包括楼宇、住宅等入口处的安全检查,也包括了进入计算机系统或情况系统前的身份验证等。(5)表情分析。人脸识别可以判断出人脸图像中的面部变化特征,识别和分析人的情感状态,如高兴、生气等
19、。此外,人脸识别技术还在医学、档案管理、人脸动画、人脸建模、视频会议等方面有着巨大的应用前景。 由此看出，计算机人脸识别技术的应用将带来显著的社会效益和经济效益。因此，进行计算机人脸识别方法和技术的研究对社会生活具有重大意义。1.2国内外研究现状1.2.1人脸识别的发展过程 人脸识别的研究已经有很长的历史，最早可以追溯到上个世纪法国人Galton的工作，但真正有发展还是近40年的事。1973年Kanade的工作起至今，大多数人脸识别研究工作的对象为正面或接近正面的人脸图像。国内外对于人脸识别的研究发展，技术趋势分别经历了三个阶段:传统的人机交互式阶段、机器自动识别初级阶段、机器自动识别高级阶段
20、。第一阶段是以Bertlioin为代表的传统人机交互式阶段,，主要研究人脸识别所需要的面部特征，该阶段的识别依赖于人的操作。这些人脸识别方法都需要利用操作员的某些先验知识，仍然摆脱不了人的干预。第二阶段主要是自动识别初级阶段，其采用机器自动识别的手段进行识别，20世纪90年代以来，随着高速度高性能计算机的出现，人脸识别方法有了重大突破，进入了真正的机器自动识别阶段，人脸识别研究也得到了前所未有的重视。国外有很多大学在此方面取得了很大进展，他们研究涉及的领域很广，其中有从感知和心理学角度探索人类识别人脸机理的，如美国TxeasDallas大学的Abdi和Toole小组，主要研究人类感知人脸的规律
21、，如漫画效应、性别识别与人脸识别的关系、种族效应等;由Srtilnig大学的Bruce教授和Glasgow大学的Burton教授合作领导的小组，主要是研究人类大脑在人脸认知中的作用，并在此基础上建立了人脸认知的两大功能模型，他们对熟悉和陌生人脸的识别规律以及图像序列的人脸识别规律也进行了研究。也有从视觉机理角度进行研究的，如英国Aberdeen大学的Carw小组，主要研究人脸视觉表征方法，他们对空间频率在人脸识别中的作用也进行了分析;荷兰Groningne大学的Pektov小组，主要研究人类视觉系统的神经生理学机理并在此基础上发展了并行模式识别方法。更多的学者则从事利用输入图像进行计算机人脸识
22、别的研究工作。国内关于人脸识别的研究始于20世纪80年代，主要是在国际上流行方法基础上作了发展性工作。中国科技大学杨光正等提出一种基于镶嵌图的人脸自动识别方法，清华大学张长水等对特征脸的方法做了进一步发展，南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别研究，上海交通大学李介谷等则专门研究了人脸斜视图像的集合特征提取与恢复，东南大学何振亚等，采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别，与此同时还有许多科研院校及科研机构也进行人脸识别的研究，并取得了一些成果。但相比之下，国内对人脸识别的研究和重视程度很不够，研究成果与国际还有一定的差距。第三阶段是机
23、器自动识别高级阶段，真正利用机器进行对人脸的自动识别。根据输入图像的性质，人脸识别方法分为静止图像的识别方法和图像序列的识别方法两大类。由于图像序列的计算远比静止图像的计算复杂和耗时，静止图像的识别方法是人脸识别领域中主要的研究方向，研究成果也更为成熟，而基于图像序列的人脸识别还处于起步阶段。早期研究较多的两种静态人脸识别方法为:基于几何特征的人脸识别方法和基于相关匹配的人脸识别方法。目前，静止图像的人脸识别方法主要有三个研究方向:一是基于统计的识别方法，包括特征脸(Eigenfaces)方法和隐马尔可夫模型(Hidden Markov Mode)方法;二是基于连接机制的识别方法，包括一般的神
24、经网络方法和弹性图匹配(Elastic Graph Matching)方法;三是其他一些综合方法或处理非二维灰度图像的方法。图像序列中的人脸识别是人脸识别领域中最富有挑战性的课题，己经吸引了越来越多的研究人员。图像序列中利用整个跟踪序列来识别人脸的关键是进行运动估计和人脸跟踪。由于人脸跟踪的重要性，目前它己经逐渐发展成为一个独立于人脸识别的研究领域，除了应用于人脸识别外，它在视频通信、人机交互以及唇读等方面都有着广泛的应用。1.2.2目前的主流识别方法 在过去近40年的时间里,出现了许多人脸识别的方法。由于人脸识别的应用领域广而且实用性非常强,许多知识背景不同的研究者都对这项技术做过相应的工作
25、,这些研究者来自诸如生物学、模式识别、神经网络、计算机视觉、计算机图形学等领域,这种知识背景的差异也导致了不同类型的人脸识别方法。在众多识别方法中,大部分可以归纳成三大类别:基于统计的方法,基于特征结构的方法以及混合方法。 (l)基于统计的方法。这一类别方法的特点是使用整个面部图像作为识别系统的输入。其中,基于主成分分析的方法占绝大多数,如Craw和Cammeron、Kirby和Sirovich、Turk和Pentland提出的基于特征脸的工作,Moghaddam和Pentland基于概率特征脸的工作,Belhumeur、Swets和weng、zhao基于Fisher脸和LDA子空间的工作,P
26、hillips基于支撑向量机(SVM)的工作,Liu和Wechsler基于演化跟踪的工作,Li和Lu基于特征线方法的工作,Bartllett基于ICA的工作等。除了这些基于主成分分析理论的工作外,还有部分基于LDA/FLD和PDBNN(Probabilistic decision based NN)的识别方法。 (2)基于特征的方法。也叫基于结构的方法,在这类方法中,输入的数据不是整张脸部,而是一些局部特征,如眼睛、鼻子、嘴等局部的位置或其它统计量。其中比较有代表性的工作有Kanade和Kelly等基于几何的方法,Okada和Wiskott等基于动态链接体系的方法,Nefian等基于隐式马尔科
27、夫的方法,Lawrence基于神经网络的方法等。 (3)混合方法。混合方法是一种将基于统计和基于特征的方法同时使用的方法,这一特点和人类的识别过程非常相似,有时我们可能通过人脸图像的某个部分来辨识对象,有时又通过整体图像来识别。具有代表性的工作有Pentland等提出的模态特征脸方法,Penev等提出的混合局部特征方法(HLFA),Lanitis等基于形状正则化的方法,Huang等基于脸部成分的方法等。 目前,这些方法都在各种人脸识别场合发挥着非常重要的作用,并且还不断的有新的方法出现。1.2.3尚待解决的问题虽然人脸识别拥有着其他生物特征识别技术无法比拟的优点,但人脸识别技术中还存在以下诸多
28、需要完善的地方：人脸识别的复杂性使得单独使用一种现有的方法不可能取得很好的识别效果，利用先验知识，多种方法综合使用是今后研究的必然趋势；不同人脸描述方式有不同特点，多特征融合方法也是改善识别性能的一个手段；在一些高级信息安全的应用中，需要研究人脸与指纹、虹膜、语音等识别技术的融合方法，如何与基于其他生物特征的鉴别系统结合也是一个有意义的研究方向；三维图像比二维图像更能提供完整而真实的内容，如何对三维人脸参数进行建模和有效利用三维信息进行识别，将是今后一个具有挑战性的研究课题。1.3本文的研究重点及内容安排本文主要探讨了基于matlab的在彩色图像皮肤区域中，采用分割算法以肤色作为人脸检测核心的
29、一种新方法和新思路。人脸检测系统要求实现对输入的可能包含人脸的图像进行处理,并输出图像中是否存在人脸以及人脸的数目、位置、尺度、位姿等参数信息。传统的人脸检测方法大多是在亮度空间内进行,利用灰度的变化做多尺度空间的全搜索,计算量非常大、效率极低,而在人脸区域中,肤色一定是占主导地位的像素色彩值，虽然肤色因人而异,但经过研究可以发现肤色在色彩空间中的一定范围内是呈聚类特性的,特别是在排除了光照亮度和在经过变换的色彩空间中，利用肤色这一特征可以排除掉在灰度图像中的非皮肤区域，这对人脸检测起到了积极的作用。 本文共分为五章,其内容如下: 第一章是绪论,阐述了本文的研究背景和意义、国内外人脸研究概况及
30、发展趋势。介绍了常用的人脸识别方法以及本文的主要工作和章节安排。 第二章是算法理论与实现原理，介绍了肤色分割和分类识别的各种算法及其原理。 第三章是系统设计，对基于Matlab的肤色分割和匹配的人脸识别方法的算法原理和分析过程进行了详细的描述以及系统设计。 第四章根据第二章中描述的肤色分割原理和第三章中详细分析的人脸识别方法，构建了本文的人脸识别系统，对系统的框架用基于Matlab的实现步骤进行了描述。 第五章是本文工作的总结及对未来工作的展望。 2 算法理论与实现原理2.1常见色彩空间比较 谈到使用颜色检测，就不得不从色彩空间说起，不同的色彩空间对于人脸检测的结果有直接的影响，这是因为不同的
31、应用场合和不同的物体需要使用不同的色彩空间进行检测。色彩空间，通俗一点讲，就是各种色彩的集合，色彩的种类越多，色彩空间越大，能够表现的色彩范围即色域越广。色彩空间也称为色彩系统或色彩模式，建立色彩空间的主要目的是提供一个可接受的指定色彩标准。对于有关彩色视觉系统的设计开发而言，研究颜色是相当重要的。图像中的颜色不仅给我们的感觉更愉悦，而且能获得更多的视觉信息。人的视觉对彩色相当敏感。人眼一般能区分的灰度等级只有二十多个，但是能区分有不同亮度、色度和饱和度的几千种颜色。可以察觉的颜色属性包括亮度、色度和饱和度。亮度反映了能察觉的明视度（luminance）；色度指红色、绿色等颜色，对单色光源而言
32、，色度的不同以波长的不同显示；饱和度是可以察觉的白色光加入单色光的比。在数字图像中利用彩色信息可以提高图像的可鉴别性，使图像细节更容易辨认，目标更容易识别。在进行数字图像处理时，人们并不是对所有颜色一一处理，而是根据色度学理论建立颜色模型，基于颜色模型进行处理。色度学理论认为，任何颜色都可以由红（R）、绿（G）、蓝（B）三种基本颜色按不同比例混合得到。根据计算机色彩理论，对每一种颜色而言，在计算机中有不同的表达方式，这样就形成了各种不同的色彩系统，即色彩空间。当然，各种色彩空间只不过是颜色在计算机内不同的表达而已，每一种色彩空间都有各自的产生背景、应用领域等。主要的色彩空间有 RGB、HSI、
33、CMY/CMYK、YIQ、YUV、YCbCr 等。其中，RGB 色彩空间是最基本的色彩空间，其他的色彩空间都是基于该色彩空间的，只是用途各异。它们与 RGB 色彩空间可以按一定的关系进行转换。下面介绍这几种色彩空间。2.1.1 RGB空间 当人们想到彩色时，通常是指红、绿和蓝即三基色，按适当比例将这三类基色混合起来就可以获得任何其它彩色。待电脑中显示的图像色彩通常需要转化成 RGB 模式。其中三种颜色，有的颜色含有红色多一点，其它成分少一点。针对含有红色成分的多少，可以人为地分成 0 到 255 共 256 个等级，0 级表示不含红色成分，255 表示含有 100%的红色，同样绿色和蓝色也可以
34、被划分成 256 级。这样红、绿、蓝各种不同的组合就可以表示出 256 256256（约 1600 万）种颜色。这是最常用的颜色空间。 RGB 颜色模型基于笛卡儿坐标系统，三个坐标轴分别为 R、G、B，模型通常采用如图 2.1 所示的单位立方体表示。红、绿、蓝三基色的坐标分别为（1,0,0）、(0,1,0)、(0,0,1)，原点(0,0,0)对应黑色，离原点最远的点(1,1,1)对应白色。在这个模型中，从黑到白的灰度值分布在从原点到离原点最远的顶点间的连线上，而立方体内其余各点对应不同的颜色，可用从原点到该点的矢量(r,g,b)表示。其中 (2.1) 图 2.1 RGB 彩色立方体 RGB 彩
35、色空间是对人眼的光谱量化性质的近似，因此利用 R、G、B 三分量表征颜色是很自然的一种格式，而且现有彩色图像采集设备都是以 CCD 技术为核心，直接感知 RGB 三分量，这使得 RGB 彩色空间成为各种图像采集和处理的基础。其它彩色空间一般都以 RGB 彩色空间为基础，是 RGB 彩色空间的线性或非线性函数。但是 RGB 色彩空间不直观，而且是人眼感知上非常不均匀的色彩空间，周围环境的光照变化很容易引起 RGB 值的变化。2.1.2 HSI空间 HSI 色度空间是孟塞尔彩色空间的简化形式，是以彩色的色调（hue）、饱和度(saturation)、亮度(intensity)为三要素来表示的。它同
36、人对色彩的感知相一致，是适合人的视觉特性的色彩空间。线形色彩表示系统如 RGB 色彩空间，其三个色彩分量没有很好的和人对色彩判断的因素相联系，冗余信息多，对三个分量分别处理将会带来颜色信息的丢失和错乱，将 RGB 空间转换为 HIS 空间后，它将亮度(I)与反映色彩本质特性的两个参数色调(H)和饱和度(S)分开。在提取一类物体在色彩方面的特性时，经常需要了解其在某一色彩空间的聚类特性，而这一聚类特性往往体现在色彩的本质特性上，而又经常受到光照明暗等条件的干扰影响。光照明暗给物体颜色带来的直接影响就是亮度分量(I)，所以若能将亮度分量从色彩中提取出去，而只用反映色彩本质特性的色度、饱和度来警醒聚
37、类分析，会获得比较好的效果。这也正是 HIS 格式在彩色图像处理和计算机视觉的研究中经常被使用的原因。 HSI 颜色模型和理想双锥体模型（图 2.2）吻合。I 轴和亮度轴线重合，以亮度值最低的黑点表示原点，若 I 经过归一化处理后（I）的值域为 0-1，0 表示亮度最低的黑点，1 表示亮度最高的白点；一个颜色样本的特征矢量在垂直于 I 的平面上的投影线的长度，表示颜色样本的饱和度 S，取值为0-1；投影与水平方向的夹角为样本的色调 H，H 的取值范围为 0-360。 图 2.2 HSI 颜色模型 HSI 颜色模型中的 I 分量与图像的彩色信息无关，与颜色信息相关的 H、S 分量不随光照条件的变化而变化，因此非常适合视觉系统感知彩色特性的图像处理算法。RGB 空间向 HIS 空间映射的关系如下： （2.2）其中 或者
