1、厦门大学软件学院毕业论文 本科毕业论文 (科研训练、毕业设计 ) 题 目：人脸 表情识别 系统开发 姓 名： 学 院：软件学院 专 业：软件工程 年 级： 学 号： 指导教师（校内）： 职称：讲师 年 月 厦门大学本科毕业论文 第 2 页 摘要 在过去几十年内，研究者已经提出了很多用于面部表情识别的方法。目前的人脸面脸表情识别方法可以分为两种：基于局部特 征 和基于整体特征的。基于局部特征的人脸面部表情识别是利用每个人的面部特征（眉毛、眼睛、鼻子、嘴巴和面部轮廓等）的位置、大小及其相互 位置的不同进行特征提取，达到人脸面部表情识别的目的。 本文基于对表情识别系统的开发，而对人脸表情识别技术进行
2、了研究和探讨，提出了识别人脸七种基本表情 (愤怒、厌恶、恐惧、高兴、无表情、悲伤和惊奇 )的方法。 通过 使用 PCA 方法，实现一套识别率较高的图像人脸 表情识别 系统。该系统主要实现特征 提取，表情识别 两大功能。 图像人脸特征定位系统是以 matlab 为开发平台，使用 PCA 算法 进行开发设计。 关键词 ： 特征提取 表情分类 基于特征脸的主分量分析（ PCA） MATLAB 厦门大学本科毕业论文 第 3 页 Abstract in recent years ， Facial expression recognition by the widespread attention it
3、with fingerprint identification, Retinal identification belonging to the same biometric identification areas. Image Facial Expression Recognition of face recognition is an important element. Accurate positioning is correct characteristic facial expressions to identify the necessary conditions. In th
4、e past few decades, researchers have made a lot of facial expression recognition method. The Face Facial expression recognition can be divided into two methods : the film based on the local characteristics and the overall characteristic. Based on the characteristics of the partial facial expression
5、recognition is the use of each persons facial features (eyebrows, eyes, nose, mouths and facial contours, etc.) location, size and location of different mutual feature extraction, achieve Facial expression recognition purposes. Gray also be considered brightness simply means that the color depth. An
6、d the gradient is a little gray change of speed. Based on the facial recognition system, we did a face recognition technology for the study and exploration, Recognition of the seven basic facial expressions (anger, dislike, fear, happiness, expressionless, sadness and surprise) method. Through the u
7、se of PCA . we achieved a higher recognition rate of Facial Expression Image Recognition System. The system main feature extraction, and the two major functions are expression recognition. Facial features images positioning system based on Matlab platform for the development, the use of PCA algorith
8、m 厦门大学本科毕业论文 第 4 页 development design. Key words: Feature Extraction. Categories expression , PCA 厦门大学本科毕业论文 第 5 页 目录 第一章 绪论 .7 1.1 人脸 表情 识别综述 .7 1.2 相关领域研究 以及难点等 .7 1.2.1 相关领域研究 .8 1. 2. 2 研究难点 .8 1. 2. 3 表情识别的一般方法 .8 第二章 表情 识别 相关技术原理 .10 2.1 表情 识别 相关技术概论 .10 2.2 一个表情识别系统的要素 .12 2.3 项目开发平台和语言介绍 .13
9、 2. 3. 1 MATLAB 平台简介 绍 .13 2. 3. 2 PCA 算法 简介 .14 第三章 系统的总体设 计 .17 3.1 人脸 表情识别 系统开发目的及设计目标 .17 3.2 人脸 表情识别系 统设计思想 . 错误 !未定义书签。 第四章 人脸表情识别系统 详细设计 . 错误 !未定义书签。 4.1 特征 定位模块 .19 4.2 边缘检测模块 .23 第五章 程序功能的实现 .26 第六 章 结 束 语 .28 致谢 .29 参考文献 .29 厦门大学本科毕业论文 第 6 页 Contents Chapter 1 Prolegomenon 7 1.1 Facial exp
10、ression recognition Summary 7 1.2 Research and related fields Difficulties 7 1.2.1 Research.9 1.2.2 Related fields Difficulties .9 1.2.3 Common methods 9 Chapter 2 Facial recognition technology related Principle .14 2.1 Face recognition Related technology overview . 错误 !未定义书签。 2.2 General expression
11、 recognition factor. 错误 !未定义书签。 2.3 Development platform and language introduced 13 2.3.1 MATLAB introduce.13 2.3.2 PCA introduce .14 Chapter 3 System Design .17 3.1 Development goals and objectives.17 3.2 design ideas.18 Chapter4 The details 19 4.1 Features positioning module 19 4.2 edge detection
12、module 23 Chapter 5 Concluding Remarks .26 Acknowledgement .29 References .29 厦门大学本科毕业论文 第 7 页 第一章 绪论 1.1 人脸 表情识别 综述 经过几十年的努力 ,人工智能的研究已经达到了很高的水平。然而 ,它的研究目的只是在于模拟人的智能 ,如判断、推理、证明等思维活动。人工心理理论则是利用信息科学的方法 ,对人的心理活动的更全面内容的再一次人工机器 (计算机、模型算法等 ) 实现 。它的应用前景非常广泛 ,主要是情感机器人的技术支持、拟人机械、人性化商品设计、感性市场开发、人际和谐环境技术和人机和谐多
13、通道接口等。人脸表情识别也是人工心理理论研究的重要组成部分。 人脸表情含有丰富的人体行为信息 ,对它的研究可以进一步了解人类 对应的心理状态。计算机和机器人如果能够象人类那样具有理解和表达情感的能力 ,并能够自主适应环境 ,这将从根本上改变人与计算机之间的关系 ,使计算机能够更好的为人类服务。这也正是研究人脸表情识别并赋予计算机具有情感理解和情感表达课题的意义。 现今计算机技术发展一日千里，计算机性能和以前比已经有了巨大的进步。性能已经不是制约人脸识别技术的主要障碍了。因此人脸识别中的机器自动识别研究已经成为人们的主要研究方向。其中的一个重要环节就是人脸特征 提取 。 1.2 相关领域研究以及
14、难点 1. 2 .1 相关领域研究 有关人脸面部表情 ,过去主要是从心理学和医学的角度来研究。生物学家达尔文所做的心理学实验表明 ,面部表情的含义不随着地区和国家的不同而不同。人脸面部表情的产生是由于肌肉的牵引将正常的人脸变形成为有表情的人脸。 Schlosberg 首先提出了表情描述的 3 个量化尺度 :注意 拒绝 (A - R) 高兴 - 不高兴 (P - U) 和活跃程度。例如 ,轻视、厌烦两种表情就有很大的 “不高兴 ”值。斯托曼提到面部表情的分析有两种不同的体系 :一类是对情绪的维量分析 ;另一类是对情绪分类。多数的维量分析通常把情绪用三维空间来表示 。在 Ekman 和Friese
15、n 提出的面部运动编码系统 (FACS) 中采用 44 个能够独立运动的表情活 动 FACS 把脸部运动分解为肌肉运动元 (AU) 描述面部动作 ,这些单元与使面部表情改变的肌肉结构紧密相厦门大学本科毕业论文 第 8 页 连 ,在这个系统中还定义了六种最基本的表情 :惊奇、恐惧、厌恶、愤怒、高兴、悲伤以及 33 种不同的表情倾向 ,说明了具有这六种表情的人脸特征与无表情的人脸特征相比有相对独特的肌肉运动规律 ,后来进一步的研究大多数都是在 FACS系统的基础上构建人脸表情模型 ,所以说这一系统的提出具有里程碑的意义。 后来 ,研究者们进一 步揭示了运动单元与肌肉运动之间的关系 ,提供了表情识别
16、的心理学方面的依据。 Essa 等人把提取的新运动单元命名为 FACS + ,它基于物理和几何模型 ,用模板匹配的方法识别表情。国内的研究中提出了 FACSp(转换 FACS) 的表情编码 ,把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量序列对眼部和嘴部分别进行表情编码 ,相应的运动基于 FACS 的规则 ,同时又克服了 FACS 的弱点。可以说心理学及生物学的发展与计算机识别能力的提高是一种相辅相成的关系 :一方面通过对人类心理 / 神经感知和人脑的研究 ,可以提高机器 的识别能力 ;另一方面又可以通过机器的识别能力进一步深入探索人类的心理 / 神经感知和人脑感知的过程。 1.
17、2. 2 研究难点 虽然人类表情识别能力较强 ,可是计算机实现起来则困难很多。其表现在 :建立人脸表情模型和情绪分类 ,并把它们同面部特征与表情的变化联系起来。人脸是一个柔性体而不是刚体 ,很难把脸部运动和表情变化联系起来 ,根据表情图像序列的特点建立的动态表情模型才是一个完整的动态表情过程的描述。另外人脸表情丰富 (包括表情的各种倾向 ) ,人类对表情的控制能力 ,表情的变化细微而复杂 ,对表情变化特点的概括等诸多方面因素 ,都成为人脸表情识别的难点。而且人脸表情识别还涉及到图像处理、计算机视觉、模式识别、应用心理学、生命科学、认知科学等学科的相关知识。这诸多因素使人脸表情识别成为一项极富挑
18、战性的课题。 1. 2. 3 表情识别的一般方法 在对人脸表情特征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一化是指根据 人 脸定位结果将图像中人脸变换到同一位置和同样大小 ;灰度归一化是指对图像进行光照补偿等处理 ,光照补偿能够一定程度地克服光照变化的影响而提高识别率。关于人脸表情特征提取与识别的方法可概述如下 : (1) 基于几何特征的识 别方法 它主要是对人脸表情的显著特征 ,如眼睛、鼻子、眉毛、嘴等的位置变化进行定位、测量 ,确定其大小、距离、形状及相互比例等特征 ,进行表情识别。 (2) 基于整体的识别方法 它是通过对整幅人脸或人脸图像中特别的区域进行变换 ,获取人脸厦门
19、大学本科毕业论文 第 9 页 各种表情的特征来进行识别。应用最广的是主元分析 (PCA) 方法。 (3) 基于模型的识别方法 它主要是建立精确的物理模型 ,根据解剖学知识确定关键特征并通过比较这些特征的变化来识别人脸表情。也就是说把人脸表情识别问题转化成可变形曲面的弹性匹配问题。 厦门大学本科毕业论文 第 10 页 第二章 表情识别相关技术原理 2.1 表情识别相关技术概论 1. 基于几何特征的识别方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成 ,正因为这些部件的形状、大小和相对位置的各种变化才使得人脸表情千差万别 ,因此对这些部件的形状和结构关系变化的几何描述 ,可以作为人脸表情识别的重要特征
20、。 （如 图 2 所示） 最早 ,研究人员利用人脸特征显著点导出一组用于识别的特征进行人脸及其表情识别 采用几何特征进行正面人脸表情识别一般通过提取眼、口、鼻等重要特征点的位置和眼睛等重要器官的几 何形状作为识别特征。 Lanitis 用脸部一系列的特征点组成可变形的模型 ,通过测量特征点的相互位置和形状来识别人脸表情。其基本思想是 :对每一种表情 (高兴、悲伤、惊奇、恐惧、厌恶、愤怒和平静共七种 ) 在选出来的训练图像中建立全局参数的分布 ,以便对一幅新的人脸图像计算其全局参数 ,以此来识别人脸表情。他们在实验中具体的运用了可变形模型 ,通过计算特征点的相互位置和形状来识别表情 ,达到 74 %的识别率。 基于几何特征的方法很大程度上减少了输入的数据 ,但是用有限的特征点来代表人脸图像 ,一些重要的表情识别和分类信息就会丢失 。实验研究表明几何特征提取的精确性结果不容乐观。现在对于人脸图像处理技术 ,基于整体的正面灰度信息的方法越来越引起重视。 2 基于整体的识别方法 与基于几何特征的识别方法相比 ,基于整体的识别方法主要强调尽可能多的保留原始人脸表情图像中的信息 ,并允许分类器发现表情图像中相关的特征 ,通过对整幅人脸表情图像进
