1、信息科学与技术学院毕业论文课题名称： 基于特征识别的人脸检测系统学院： 信息科学与技术学院完成日期：摘要摘要我的毕业设计题目是基于特征的人脸检测系统， 这个系统不仅仅能够检测人脸，还具有识别人脸的功能。检测人脸检测部分的算法采用的是于仕祺老师的 LBP 特征加 Gentle AdaBoost 分类器相结合的算法，提取识别特征部分的算法采用的是 Google在 2015 年提出的基于深度学习策略的一种人工神经网络 FaceNet，较为新颖，其准确率高，在光照不足，姿态和表情变化剧烈时仍能保持稳定，具有很强的鲁棒性。该系统的界面使用 MFC 编写，在具体实现中了应用了多线程编程技术实现了一个简单的
2、生产者消费者模型，从而提高了系统的识别效率，另外，对人脸的识别模块还使用了 Python， C+混合编程技术引入了 Google 的开源深度学习框架 Tensorflow 作为对 FaceNet 的具体实现，数据库使用的是 SQL Server2012，连接数据库使用的是微软公司的 ADO 组件。该系统主要有信息采集模块和实时监控模块两个部分，前者完成对任务样本的信息采集工作，后者完成在实时监控的情况下对出现在画面中的人脸进行检测和识别， 检测部分的速度可以达到 4060 的 FPS ，识别部分由于计算量较大，只能达到 25 的 FPS。该系统经过简单的硬件支持和部署之后，基本可以完成在实际场
3、景中的简单应用，具有一定的学术研究和实际应用价值。关键词： 人脸检测；人脸识别；机器学习； Tensorflow ；实时监控IABSTRACTABSTRACTThe topic of this graduation project is Face Detection System based on characteristics whichachieves the face detection and face recognition two functions.The algorithm of face detection partuses a kind of enhanced algori
4、thm based on LBP feature and Gentle AdaBoost classifier proposed byShiQi Yu,the algorithm of extracting face feature used inrecognition part uses a kind of manualneural network FaceNet based on deep learning strategy proposed by Google in 2015.FaceNet hasreached high arruracy and it is robustness to
5、 the change of illumination,posture and expression.Theinterface of this system if written in MFC,and in real implementation,the application ofmulti-threaded programming technology realizes a simple producer and consumer model whichaccelerate the whole recognition efficiency of the system,in addition
6、,the recognition part also usesthe Python,C+ mixed programming technology which introduces Google s open-source deeplearning framework Tensorflow as a concrete implementation of FaceNet,the database is using SQLServer 2012,the link of database uses Microsoft sADO components.The system consists of tw
7、o parts:the information collection module and the real-time monitoring module,the former completes theinformation collection of human samples,and the latter completes the detection and recognition ofthe faces that appear in the picture in the case of real-time monitoring.The speed of detection partc
8、an reaches to 4060 FPS,the recognition part can only reach to 25 FPS, for the large calculation cost.After some simple hardware support and deployment,the system can be used in actual scene for simple application which has certain research and practical application value.KEY WORDS: Face detection; F
9、ace recognition; Machine learning; Tensorflow; Real-time monitoringII石河子大学信息科学与技术学院毕业论文目录1 绪论 . 31.1 课题 . 31.2 课题背景 . 31.3 课题研究目的及意义 . 31.3.1 研究目的 . 31.3.2 研究意义 . 41.4 国内外研究现状 . 51.4.1 国外 . 51.4.2 国内 . 61.5 设计时间 . 71.6 内容及分工 . 71.6.1 内容 . 71.6.2 成果 . 72 理论和技术 . 82.1 理论 . 82.1.1 检测部分的 LBP 特征 +Gentle
10、AdaBoost 分类器 . 82.1.2 识别部分的 Google FaceNet . 112.2 技术 . 152.2.1MFC 简介 . 152.2.2 Tensorflow简介 . 172.2.3 ADO 组件简介 . 183 需求分析及概要设计 . 193.1需求分析 . 193.2概要设计 . 194 实现 . 204.1 核心理论的实现 . 204.1.1 检测部分的实现 . 204.1.2 提取识别特征部分的实现 . 214.2 类 . 244.2.2 TensorflowInference类 . 264.2.1 ADOConn 类 . 284.3主界面 . 294.3.1 流
11、程 . 294.3.2 实现 . 304.4 信息采集 . 324.4.1 流程 . 324.4.2 实现 . 324.5 实时监控 . 344.5.1 流程 . 354.5.2 实现 . 364.6数据库 . 385 测试 . 405.1 主界面测试 . 405.2 信息采集测试 . 415.3 实时监控测试 . 411石河子大学信息科学与技术学院毕业论文6 结论 .437 致谢 .448 参考文献 .452石河子大学信息科学与技术学院毕业论文1 绪论1.1 课题基于特征的人脸检测系统1.2 课题背景自从计算机被发明的那一天起， 人们就试图使用计算机来代替人力从事各种各样的劳动，经过数十载的
12、发展和进步，以及对各种理论的深入研究，现在的计算机技术已经达到可以实现人脸识别的要求。人脸识别的一个重要应用就是身份鉴别，在许多重要的场合，传统的身份鉴别方法缓慢且低效，于是人们试图寻找更加高效方便的身份鉴别方案，人脸识别就是其中的一种考虑，与其他类型的生物识别比较，人脸识别具有非强制性、非接触性、隐蔽性、并发性的优点，而且人的面部表情还会反映出人的心理状态和情绪，这也可以为我们提供必要的辅助信息。人脸识别的研究如今已经成为许多从事模式识别研究或者人工智能研究的科研机构的重要课题。虽然科学家们从很早的时候就试图让计算机能够识别人脸，但是因为人脸的信息容易受到各种环境因素的干扰和人物本身姿态和表
13、情的影响，使得人脸检测和识别仍有很大的研究空间，并且目前商用的人脸识别应用并未普及，存在着非常庞大的商业空间，如今新生的人脸识别算法公司，如云从科技， Emotient,Affectiva 中学术界大佬云集，动辄融资数千万，也从侧面说明了人脸识别与分析市场潜力巨大，具有很高的应用与学术价值。1.3 课题研究目的及意义1.3.1 研究目的狭义上来讲，人脸检测与识别的基本目的是从一幅静态图片或者是从视频流中的一系列图片中检测图像是否包含人脸，如果有人脸，则能够准确给出人脸的各种信息，包括位置信息，大小信息，还要能够将人脸单独从原始的捕捉画面中剪裁出来，通过一定的算法提取出足够区分不同的人和同一个人
14、的人脸特征，再将提取到的特征与事先存放在数据库中的人脸的特征进行比对，从而实现对图片中出现的人物进行身份鉴别，这在许多安检和考勤系统上得到了应用，目前稍微高档一点的手机都有人脸解锁功能。更进一步讲，人脸检测和识别还有许多其他的应用，例如当下流行的一些 P 图3石河子大学信息科学与技术学院毕业论文软件通过对人脸的分析和处理，可以开发出很多基于摄像头的应用比如美图秀秀和魔漫相机等，深受广大爱自拍的妹子们的喜爱，有的游戏公司则在游戏中加入了对玩家脸部表情的捕捉，并将其融入到游戏中，具有巨大的市场价值，此外，获取的人脸中还含有更多有意思的信息，比如图片中人物的表情，神态，衰老程度，是否打扮等，从这些信
15、息中可以进一步分析得出人物的情绪和心理活动甚至性格特征，表层体现的信息一旦被深度挖掘，其价值将无可估量，一些新生的人脸识别算法公司已经将这些信息用在许多场合，比如在销售业中分析顾客的实时感受，进而指导销售策略，这些信息在未来人工智能的拟人类产品中的对图像理解和机器人的人机交互中也具有重大意义。因此，从一般应用的角度来讲，研究人脸识别的目的是让计算机能够识别人脸，区分不同的人脸，自动对人进行身份鉴别，或者是对人脸加以适当的处理应用于娱乐休闲；而从人工智能的角度来讲，是为了让计算机能够“理解”人脸，模仿人脸，让计算机更加地像人。1.3.2 研究意义研究人脸检测与识别具有实际应用和理论研究两个方面的
16、意义， 体现在前者上的意义在于人脸检测和识别可以被广泛的应用在各种场合，举几个简单的例子，可以将人脸检测与识别技术应用在安检或监控领域，在一些对安全性要求很高的场合部署人脸检测与识别系统能够有效检查出异常人员的出现，为安保人员提供相应的预警信息，使其能够及时采取一定的措施避免安全事件的发生；还可以将系统部署到一般的街道上，类似天眼系统，全天识别路上的每一个人，这样可以让一些不法分子无处可藏，增加社会的安定性；在考勤系统上的应用可以是工作人员不用采取任何多余的动作即可完成打卡，只需要从门口走过，人脸检测和识别系统就可以在神不知鬼不觉的情况下完成对考勤信息的记录，在这些方面的应用将创造巨大的社会价
17、值。在理论研究方面的意义只要是体现在人工智能领域，科学家们梦想实现的终极强人工智能不可能一蹴而就，其基础的发展阶段就是对人类的各种模仿，研究人脸识别的相关理论可以为探索赋予计算机视觉理解提供一定的指导，而且由其与别的一些学科有所交叉，比如生理学，数字图像处理，生物神经学，心理学等，对人脸检测与识别的理论研究能够在一定程度上推动这些领域的发展，这些领域的发展反过来也是人脸检测和识别理论进步的重要推动力。在安检系统中，人脸检测与识别的本质就是从区分人脸，人脸检测是把人脸从背景中区分出来，人脸识别是区分不同的人脸，对计算机而言，人脸只是一堆随机矩阵，和一个可乐罐子并没有什么太大的区别；而对于人工智能
18、领域来说，人脸识别不再单单是区分人脸，而要求计算机能够以更加类似人的方式去理解人脸，得出人的更多信息，人身上没有那个部位能比脸更能反映这个人的信息了，包括年龄，心情，甚至性格特征，利用这些信息对人工智能产品的行为做出指导将产生更加友4石河子大学信息科学与技术学院毕业论文好的人机交互体验和更加个性化的服务，利用信息的前提是获取这些信息。1.4 国内外研究现状1.4.1 国外近十年以来， 人脸识别已经发展成为热门的生物特征识别技术， 国外几乎所有著名的从事与人工智能领域相关研究的研究机构和高校都有对人脸检测和识别技术及理论的研究。包括像 FaceBook，Google，Microsoft 这样的互
19、联网巨头公司也对人脸检测和识别的研究投入了大量的精力，并将可以实际使用的人脸检测和识别系统部署到它们的产品中去，用以开发新的应用或者提升用户体验。理论上的产生了基于几何特征的人脸识别、 基于子空间的人脸识别、 基于弹性图匹配的人脸识别、 Geroghiades 等人提出的基于光照锥模型的多姿态、 多光照条件人脸识别方法，应用于以支持向量机为代表的统计学习理论。另外，有 AdaBoost 衍生出了许多变种和增强型人脸识别算法、基于彩色信息的方法、构建神经网络、基于形状分析的方法以及多模态信息融合方法也有大量研究与实验。目前，很多国家展开了有关人脸识别的研究， 美国的代表机构是卡耐基梅隆大学（CM
20、U）机器人研究所、麻省理工学院（ MIT）媒体实验室和人工智能实验室，欧洲的代表机构是英国的 Surey 大学视觉语音和信号处理研究中心、法国的 INRIA 研究所、芬兰的赫尔辛基大学 CIS 研究所、瑞士 IDIAP 研究所、日本的代表机构是 ART研究所等。人脸检测和识别系统已经被法国人安装在 ATM 机上，通过对脸部的识别确定人物身份。美国更是将人脸检测和识别技术应在诸如军事，安防，教育，医疗，娱乐等各个方面，极大的方便了人们的生活，增加了生产效率，也多样化了人们的娱乐方式。国外的一些著名研究机构还专门话费大量的人力和物力来建立和维护许多人脸数据库，这些数据库被广泛用来研究人脸检测和识别
21、，尤其是对于最近几年超速发展的人工神经网络策略，训练一个完善的人工神经网络需要大量的训练样本（百万级别），这些数据库极大的方便了研究人员的样本获取过程，部分数据库被专门用来作为检测和识别算法的 Benchmark，用以比较和评估算法的性能， 也有专门用来进行竞赛的数据库，各种 state-of-art 算法在这些数据库上一较高下，极大的促进了人脸检测和识别的研究。理论的发展极大的促进了工业界的进步， 众多新兴的人脸识别算法进而产品公司纷纷成立，他们将理论应用于实践的同时也组建自己的科研团队不断对理论研究做出贡献，目前比较著名的国外人脸算法和产品公司有 Emotient ，Affectiva,L
22、inkface5石河子大学信息科学与技术学院毕业论文等， Emotient 致力于打造一套“无所不在”的人类情感分析系统，并且已经将表情识别服务部署到零售行业，它还提供 API 接口，能够将其技术轻松的任何硬件或者软件进行整合（本课题将尝试使用这些 API）； Affective 主打面部识别解析服务，已经推出其 SDK 包，希望在市场营销以外的领域如游戏、教学等发挥作用，其已经获得共计 2020 万美元的投资； Linkface 提供全球领先的人脸检测、识别技术服务，LFW 人脸识别准确率已经高达 99.5%以上。1.4.2 国内国内的人脸检测和识别研究和其他的一些领域的研究一样，起步晚但在
23、国家日益和国际接轨的情况下发展很快，国内的著名高校像北京大学，清华大学，上海交通大学等，以及科研机构如中科院都对人脸检测和识别进行了研究，不但产出了许多能够实际应用的产品，也研发出了许多媲美国际水平的优秀检测和识别的核心算法。可供实际应用的产品的优秀代表有清华大学的科研人员开发出的 THfaceID 人脸识别系统，中科大的研究小组开发的 KD-Face 系列的人脸考勤机等。人脸检测与识别技术也被应用于国内安防，销售等领域，在 08 年奥运会中人脸检测和识别系统被实际部署并投入使用。在理论研究方面，国内的科学家也在奋力追赶 state-of-art 的算法，深圳大学的于仕祺老师的 LBP 特征
24、+Gentle AdaBoost 算法达到了当时世界人脸检测算法的顶尖水平，在检测的 Benchmark 数据库上的竞赛保持第一名的位置一段时间。香港中文大学的科研团队研发的基于深度学习的 DEEPID 人工神经网络模型在当时也是达到了 state-of-art 的水平。国内目前比较有名的人脸识别公司有云从科技和 Face+等，云从科技成员大多来自全球顶尖学府及研究机构，其研发了首个刷脸支付原型系统，首个商用人脸识别远程开户系统，它是唯一一家参与人脸识别国标、部标、行标制定的研发企业；Face+在 金融 、 安防 、零 售领 域 分 别 开始 了商 业 化 的 探 索 ， 成 功发 育出 Face+Financial ，Face+Security ， Face+BI 等垂直人脸验证解决方案产品。6石河子大学信息科学与技术学院毕业论文1.5 设计时间10周1.6 内容及分工1.6.1 内容基于特征的人脸检测系统，主要实现以下功能：1) 对人物信息的采集，包括人物的姓名，人物肖像的采集，人物肖像的特征向量的计算；2) 实时监控，对出现在摄像头画面中的人物进行身份鉴别及记录。1.6.2 成果1) 系统可执行程序一套；2) 毕业设计论文一份；3) 系统用户手册一份。7
