1、1 本科毕业论文 题 目 ： 基于静态 2D 图片的 3D 模型生成及编辑系统 的实现 3D模型生成 姓 名： 学 院：软件学院 系： 软件工程 专 业：软件工程 年 级： 学 号： 指导教师： 职称： 年 月基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 I 摘 要 随着计算机技术的不断发展 ，三维建模 技术 也得到了充分的 发展 ， 它 已经成为计算机图形学领 域的一个重要分支。在虚拟现实、影视制作、视频 直播 、辅助教学、医学研究、游戏娱乐等诸多方面都具有很强的应用价值。 本论文研究的是关于三维 人脸 建模 ， 自从 Parke 在 1972 年率先使用人脸参数模
2、型生成人脸图像以来，虽然该领域已经有了显著的进展 和应用 ， 但 还是不尽人意，例如需要专门的设备、数据量大、不便于存储、 不便于 在网络上传输等。 由于人脸表面的复杂性，如何在不辅之于昂贵的设备 的条件下 ， 想要 建立 一个 逼真的三维人脸 模型 仍然是一项 十分 艰难的工作 。 本论文 进行了基于 正侧面二维 照片的三维人脸建模技术研究 。首先是获取正 侧面 人脸 的静态 二维 图片 ，然后是 对 选定 的 建模对象的照片 进行 交互式 的提取标注 特征点 ， 接下来进行一些非特征点的标注保存并通过这些标注点搭建人脸三维网格，得到 选定建模对象 的三维网格模型， 再 接下来就是纹理图片的
3、无缝合成，在有了纹理图片和三维网格模型之后我们就可以进行纹理的映射和 纹理粘贴 ，并最终 得到具有更高逼真程度的个性三维人脸。 本论文对应的实现是在 Microsoft Visual C+ 6.0 的 MFC 框架下实现的，并 利用OpenGL 图形库 来实现三维效果和纹理贴图。 关键词 ： 三维人脸建模 特征点 纹理映射 OpenGL 图形库 基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 II Abstract With the development of computer technology, 3D modeling has been surging as a
4、n important branch of computer graphics. Its utility covers more and more fields: virtual reality, film production, video conference, computer aided education, medicine research, computer games and so on. This thesis focuses on the technology of 3D face modeling, which was initiated by Parke in 1972
5、 emphasized on face parameter model. Although 3D face modeling has various applications, people are not satisfied because specialized equipment, huge data storage space and effective network transmission are required. Otherwise, modeling the real face of a given person would be a difficult task for
6、the complexity of the face feature. In this thesis, first, we collect photos. second, we extract the face feature points and some no- feature points from these photos and save them. Third, we use all the points to build a 3D face grid model. Then, a face texture map is made by stitching the persons
7、photos. Finally, by mapping the texture to the grid model, a characterized 3D face model is completed. This system of 3D face modeling is implemented using the Microsoft Visual C + + 6.0 of the MFC framework, and OpenGL to accomplish 3D effect and texture mapping. Key words: 3D face modeling face fe
8、ature points Texture mapping OpenGL 基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 III 目录 第一章 绪论 . 1 1.1 课题 的 背景与意义 . 1 1.2 国内外的发展情况 . 3 1.3 本论文的 主要工作 . 4 1.4 论文的组织结构 . 6 第二章 图片的获取和关键点的提取 . 7 2.1 图片获取 . 7 2.2 人脸特征点的定义 . 8 2.2.1 人脸的特点 . 8 2.2.2 MPEG-4 标准下的 FDP 参数 . 9 2.3 人脸特征点的交互提取 . 10 2.3.1 立体视觉 . 11 2.3.2 特征
9、点提取过程 . 12 2.4 小结 . 13 第三章 三维网格模型生成和纹理图拼接 . 14 3.1 三维网格模型生成 . 14 3.2 纹理图拼接 . 18 第四章 纹理映射 . 20 4.1 纹理映射介绍 . 20 4.2 模型与纹理图的映射关系 . 20 4.2.1 圆柱投影 . 21 4.2.2 正交投影 . 22 4.3 OpenGL 纹理映射实现 . 22 4.3.1 OpenGL 简介 . 23 4.3.2 纹理映射 步骤 . 23 4.3.3 纹理映射核心代码分析说明 . 25 4.4 小结 . 27 第五章 实验结果 . 28 第六章 总结与展望 . 30 致谢 . 31 参
10、考文献 . 32 基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 IV Contents Chapter 1 Introduction . 1 1.1 Background . 1 1.2 Current Situation . 3 1.3 Contents and Tasks . 4 1.4 Architecture of Thesis . 6 Chapter 2 Abstraction of Pictures and Feature Points. 7 2.1 Pictures Collection . 7 2.2 Definition of Face Featur
11、e Points . 8 2.2.1 Facial Features . 8 2.2.2 MPEG-4 and FDP. 9 2.3 Abstraction of Feature Points . 10 2.3.1 Stereo Vision . 11 2.3.2 Feature Points Construction . 12 2.4 Summary . 13 Chapter 3 3D Grid Model Generation and Stitching Texture Mapping . 14 3.1 3D Grid Model Generation . 14 3.2 Stitching
12、 Texture Mapping . 18 Chapter 4 Texture Mapping . 20 4.1 Texture Mapping Introduction . 20 4.2 Relation of Model and Texture Mapping . 20 4.2.1 Cylindrical Projection . 21 4.2.2 Orthogonal Projection . 22 4.3 Texture Mapping Implementation . 22 4.3.1 OpenGL Introduction. 23 4.3.2 Texture Mapping Ste
13、ps. 23 4.3.3 Code Analysis. 25 4.4 Summary . 27 Chapter 5 Experimental Results . 28 Chapter 6 Conclusion . 30 Acknowledgements . 31 References . 32 基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 1 第一章 绪论 在人类的交流过程中最重要的手段应该 是 语言，再接下来就是人类的肢体语言，而在肢体语言中最重要的表达部位应该就是人脸，人脸表面具有高度复杂的几何形状和十分丰富的颜色纹理信息，正因为如此人脸成为人类交流的重要渠道。在
14、计算机世界中，虚拟的人脸就是人们表情和语言的重要载体。近年来，人脸三维建模在虚拟现实、影视制作、视频直播、辅助教学、医学研究、游戏娱乐等诸多方面都得到了应用。但由于人脸结构的复杂，表情丰富，使得目前用计算机图形学的方法建立起 一个 逼真的三维人脸 模型 仍然是一项具有很大挑战性的工作。 自古 以来人们就开始寻找人脸的建模方法，中国的壁画，浮雕；外国的素描，雕塑。人们所追求的是多方位的表达手法，但受限于人类的认识，这些建模方法都只局限于二维，并不能全面的表达出人脸的信息。但随着人类对空间的认识 以及 计算机技术的出现和发展，让三维建模成为了现实。 Parke 首先使用人脸参数模型生成了人脸图像；
15、 Platt 和 Water 等人提出使用肌肉模型来建立虚拟脸； Horace 等人用两张正交照片合成了人脸； Blanz 等人提出了一种基于统计归纳的人脸建模方法。最近又出现了用数字化仪器 (如 3D 激光自动扫描仪，立体摄像机等 )获 取人脸全景轮廓信息，进行三维人脸重建，但这种方法需要昂贵的设备采集数据，离一般实用还有一定的距离。 1.1 课题的背景与意义 三维建模至今仍然是一个比较困难的研究课题， 而 人脸的三维建模更是难上加难，但是还是有越来越多的人投入到这方面的研究，主要原因是三维人脸 建模 有着极为广泛的应用，就 目前 来看， 三维人脸 建模 已经初步应用到视频电话、 医学手术
16、、影视制作、 三维 游戏、人脸识别等多个领域，而且随着各方面技术的发展，三维人脸 建模 必 将会在各方面得到更深更广的应用。 一 、 影视制作 ： 当 你 欣赏着电影节目 的时候，你是否有这种感觉， 电影里面的人物的表演十分的夸张，但又不像是假的，这是计算机的三维建模技术欺骗了我们的 眼睛 。三维建模技术 赋予角色人性的外观和极其逼真的表情，使我们不得不发出惊叹。 从最初的 玩具总动员、终结者 到蜘蛛侠 ， 这 些 正是三维建模技术发展 历程 的一个展现 ， 动画 制作者 总是在不断利用最新的 三维建模 学术研究成果 。 基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成
17、2 二 、 视频 电话 ： 电话作为人们日常生活、工作中不可缺少的通讯工具，以其方便、快捷等特点被广泛应用，但普通电话机只能是“只闻其声，不见其人”。随着生活水平的提高，希望在通话的同时能看到对方的音容笑貌成了人们梦寐以求的 愿望。 虽然 视频电话 技术 现在 已经 是 一项成熟的技术 ，但是 它带来了方便的同时也 占 用了 宝贵的 带宽 资源，要求通信线路具有很大的带宽。人脸建模与人脸动画技术只需要一次性的从发送端发送人脸定义特征参数，接收端根据收到的参数利用人脸建模技术恢复人脸，以后的传送过程仅仅是传送预先定义的人脸表情参数信息，这样必然降低了传送信息的冗余程度，大大减少了一定时间内的数
18、据流量，在普通的通信线路上就可以实现实时的“面对面的交流”，视频电话 也必将得到更加广泛的普及。 三 、 医学手术： 三维 人脸建模技术的主要应用是面部整形手术。 脸是人的一个门 面，在进行 面部整形手术 过程中是不允许有任何的差错出现，所 以 在 进行面部整形手术之前，可以基于人脸建模技术模拟手术过程并展示手术后的 治疗 结果，从而做出更加详细的手术方案，减少手术风险。 四 、 辅助教学 ： 人脸 三维 建模技术 也 可以运用到有生有色的计算机辅助教学过程。尤其是当学生听力方面有缺陷时，学生可以在人脸 三维建模 技术的支持下，一遍遍的跟这位虚拟老师学习，只要预先设定程序，这位老师永远都会“不
19、厌其烦”。学生可以随时随地与这位类似真人的虚拟老师学习， 一方面不必老师反复地教学，极大地减少了工作量，另一方面可以激发学生的学 习兴趣，增强学习的效果。 五 、 游戏娱乐 ：日常生活中 计算机除了 可以 用于工作和学习，另一个重要的用途就是休闲和娱乐，游戏软件业已经成为计算机软件的支柱产业之一。 游戏软件的发展也是从点到面再到体的过程。 现在 大部分 游戏的一个不足之处在于，一般只能是玩家操纵游戏中的虚拟角色，缺乏自身参与感。如果把游戏角色换成玩家自己， 如果我们能将游戏中的虚拟角色换成玩家自己的造型，能看着自己本人在游戏中“纵横驰骋”，那对广大玩家来说恐怕不只是爱不释手了吧。 六 、 人脸
20、识别 ： 身份识别在现代社会中越来越受到人们的重视，在各行各业中各式各样的识别方法得到了广泛的应用，但是不论是密码，还是各种证件等都不能完整准确地证明一个人的真实身份。生物识别技术是利用人体生物特征进行身份认证的一种技术。 人脸识别是生物 识别 技术的一个主要研究方向，经过诸多学者的悉心研究，有不少成功的识别方法已经形成，但是这些方法主要集中在二维方面，由于受到光照、姿势和表情等因素的影响，识别准确度受到限制。一个较好的解决办法是利用三维模型进行人脸的识别，因为利用三维人脸基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 3 模型可以消除或减弱光照、姿势和表情等因素的影响
21、。近年来，基于三维模型的人脸识别方法已经取得了很大进展， 充分利用三 维信息进行识别 ， 在提高识别的鲁棒性和精度方面也显示出了巨大潜力，必将成为人脸识别的热点。 1.2 国内外 的发展 情况 国外在三维人脸建模方面的研究工作开展的比较早。从 1972 年 Parke 首先用计算机生成人脸图像以来， 30 多年间计算机图形工作者在这方面的研究取得了许多重要的研究成果。 1972 年 Parke 首次使用计算机表示人脸模型，利用将近 400 个顶点组成的 250 个多边形定义人脸表面皮肤，利用余弦插值法计算连续表情的中间图像，从而实现人脸动画。 Parke制作的参数模型是世界上第一个参数模型，人
22、脸参数模型的基本思 想是通过参数来描述不同的人脸特征和人脸表情变化，因此人脸参数模型一般包括两类参数。人脸构造参数和人脸动画参数。微软研究院 Liu 和 Zhang 等人在艺术家的帮助下，建立了一种中性脸的网格模型。这种模型由 194 个关键点和 360 个三角平面组成，并且构建了 65 个可调向量用于模型的变形。利用这种模型，根据两幅图像和两个图像序列模拟特定人脸取得了很好的效果。瑞典Linkoping 大学的 ImageCodingGroup 于 2001 年发布了最新版本 CANDIDE-3，这个版本为了达到与 MPEG-4 标准的统一，对原有的模型做了必 要改动。此模型包括 113 个
23、关键点和 168个三角面片，控制参数由静态参数和动态参数组成。静态参数用来描述不同人脸之间的差异，动态参数则用于控制脸部的动作。此模型关键点比较少，可以快速地描述人脸静态特征和脸部动作，并且根据动态参数可以进行动作编码，在视频传输方面应用较广。多伦多大学的 Lee等人利用通过激光扫描仪获得的三维几何数据和纹理信息，调整已有的标准网格头部模型，构建特定人脸模型。他们的做法是在三维点云中检测一些有意义的特征点，利用插值方法变形特征点周围的非特征点。为了能够准确地检测特征点，预先对获得的三维 数据进行拉普拉斯变换，然后在拉氏空间中检测特征点，取得了较好结果，最后为模型合成纹理信息。 Jeong等人利
24、用三维数据的轮廓信息进行模型的初始化，然后利用曲面子分割策略和多精度拟合方法进行模型的构建。基于图像的特定人脸建模 ， 从普通摄像机获取的多幅图像出发进行建模 ，华盛顿大学的 Pighin 等人利用多幅图像调整标准模型，他们采用的标准头部模型是 Toronto大学的线框模型。其做法是：在多幅图像上人工标定多个特征点，然后对标准模型进行变形。整个变形过程包括三个步骤：首先，姿势估计，利用计算机视觉技术确定各个图像的变 换参数、相机的定标参数（包括位置、方向、焦距等），同时重构出标定点的三维空间位置；然后，利用分散点数据插值技术，通过已有的特征点位置构建其他顶点的位置；最后，细微调整模基于静态 2
25、D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 4 型，在模型的顶点之间和图像的对应点之间插入附加点，使模型平滑逼真。 这些是国外科研人员在人脸三维这方面在这 30 年来比较有代表性的研究成果。 国内在这方面 研究 较晚，最早的人脸建模研究始于 90 年代末，经过十几年的发展，人脸三维 建模也引起了国内研究者的极大兴趣，不同的研究机构 和科研人员 在人脸 三维 建模方面作了许多研究工作。浙江大学、清华大学、中国科学技 术大学、中国科学院计算技术研究所和中国科学院自动化研究所等在三维人脸的数据获取和建模方面取得了一些成果。浙江大学CAD&CG 国家重点实验室在曲线 /曲面建模、真实感
26、图形绘制、计算机动画等方面取得了较大进展。清华大学利用三角样条曲面进行了面部建模和动画研究，中国科学院计算技术研究所进行的表情分析与识别研究取得了一些进展。中国科技大学从正面和侧面两幅图像出发，合成了三维人脸模型并制作了简单的面部表情动画，中国科学院自动化研究所研制出了基于激光扫描的三维数据获取方法 6。 还有 哈尔滨工业大学的晏洁在人脸建模、纹理映 射等方面做出了一些成绩，提出了一种人脸模型个性化的方法和多方向纹理映射的算法。北京工业大学的尹宝才等人研究人脸建模和人脸纹理映射的方法。西安电子科技大学的郑飞和陈梅提出了使用人面照片合成全景图像的方法进行三维重建。大连理工大学的梁荻提出了基于照片
27、的三维人脸重建技术，在给出变形之后模型的基础上实现了多方向纹理映射技术 8。 但目前国内还只限于理论方面，实际应用还很少涉及 。 从人脸三维建模的发展过程来看， 整个 发展 的过程都是 在吸收了前人的科研成果的基础上再加以改进的过程。本论文的研究 也是 在 吸收了前人的较成功的成果 的基础上建立起来的。 1.3 本论文的 主要工作 本 论文 研究的是基于二维图像的 三维 人脸建模技术 ， 即使用两张正交的人脸正侧面照片合成三维人脸 模型 。 整个实 现 过程如下： 首先在给定人脸的正面和侧面照片中提取出反映人脸形状特征的特征点信息 ， 再 添加一些 补充的 非 特征点 并生成 特定人脸 三维网
28、格 模型 ， 然后使用 从 正侧面照片中 得到 的人脸纹理信息对特定人脸模型进行纹理映射 ， 最终得到具有真实感的虚拟三维人脸 。 这种方法 并不 需要昂贵的设备采集数据 ，并且不要很庞大的存储空间，更重要的是通过这种方法获得的三维模型能够较为精确的表达出人脸的信息。 具体的流程图如图 1-1 基于静态 2D 图片的 3D 模型生成及编辑系统的实现 3D 模型生成 5 图 1-1 流程图 在整个项目的学习和完成的过程中遇到了如下的问题： 一 、 由于拍摄过程中会受到人为的因素（例如抖动），或者环境因素的影响（例如光照的影响）我们很难 获取两张 满意的 正侧面图片 。 二 、 在提取关键点的时候
29、， 本项目 采用的是手动的提取方法，在精确性方面有一定的影响，如果采用自动提取关键点的话，由于技术方面的不成熟，也很难满足我们的要求。综合考虑程序的复杂性和 关键点提取的 精确性， 本项目 还是采用了手动提取的方法。 三 、 纹理图 拼接，如果要 把两张贴图拼接起来 ,拼接线位置由于两张照片的 光照条件和角度不一样 ,拼接起来的贴图有明显的界限 ， 为了消除界限 ,达到贴图的平滑过渡 ,我们 必须使用多分析度图像分解的处理方法 ， 而 采用了 多分析度图像分解 的方法得到的拼接纹理图片的拼接效果还是不太理想，在项目中 用 的纹理图片是用图片处理工具 PhotoShop 来处理的，这样虽然少掉了一些自动性，但可以换来更好的实验效果。 四 、 纹理映射，由于人头并不是一个规则的几何形状，在进行纹理映射过程 必然 会带来纹理的变形。在圆柱投影映射和正交投影映射两 种 方法中考虑到实验的效果 ，还是选择了正交投影映射。
