1、基于单幅图像目标物体深度信息提取摘 要由单幅二维图像重构出曲面的三维几何形状技术一直是图像领域研究的难点。论文首先回顾了 SFS 研究所走过的路程，总结了近年来在该领域的研究热点问题。在理解SFS 问题本质的基础上，系统地归纳总结了目前国内外现有 SFS 算法，即最小化方法、演化方法、局部方法和线性化方法。根据这四种算法所采用的不同假设，分析了它们的适用面，并对这四类算法的收敛速度、解的唯一性、解的存在性等方面进行了比较。最后采用 MATLAB 将重建后物体三维原型进行模拟显示。实验结果表明，利用本文的基于单幅图像的三维原型重建算法可以较好地重建物体的三维原型。该算法在兼顾了精确性和简化算法复
2、杂性的同时，降低了对环境的要求，操作简单，具有广泛的应用前景。关键词 单幅图像，明暗恢复形状，三维原型第 2 页 共 36 页Single image based on the depth of object information extraction technologyAbstractIt is still a very difficult Problem to reconstruct 3D surface geometry from on gray-level image in the field of image technology. At the beginning, a ful
3、ly survey about SFS methods is given. Then a systematic Summarize is made for all current SFS algorithm in the domestic and foreign， these methods include minimization approaches， Propagation approaches， local approaches and 1inear approaches, we have analyzed their applicability, and compared them
4、in terms of convergence rate， uniqueness and existence. At last this Paper simulate 3D Prototype in MATLAB.The experiment result proved that the 3D prototype reconstruction method introduced in this paper can be used to reconstruct objects 3D prototype. The reconstruction by using this algorithm is
5、accurate. The complexity of this algorithm is not very high. Its operation is simple. The environment requirement is decreased. This algorithm has a favorable application Prospect.Keywords Monocular Image，Shape from Shading，3D Reconstruction1 绪论1.1课题背景一直以来，恢复图像中物体的三维信息都是机器视觉研究领域中倍受关注的挑战性课题之一，而估计目标物体
6、的景深信息又是三维重建领域中非常重要的一环。传统的方法多是采用多幅图像来求得三维模型 1，这些方法中存在多幅图像匹配难等诸多问题，而单幅图像提取深度则不受图像对匹配的约束，无需迭代与匹配，速度快，简洁方便，第 3 页 共 36 页有利于推广使用。因此对如何从单幅图像中提取目标物体的深度信息技术的研究具有非常重要的理论和实际意义。提取目标物体深度信息可采用散焦成像的方法也可以采用明暗恢复形状的方法（shape from shading 简称 SFS），但是对于散焦成像的方法一般用于两幅或者两幅以上的图像恢复，所以本课题拟用明暗恢复形状的方法（shape from shading 简称 SFS）来
7、提取目标图像深度信息。明暗恢复形状（shape from shading 简称 SFS） 2 的方法测量速度快，效率高，同时具有非接触测量的优点。SFS 方法是计算机视觉领域中的一种重要方法，也是热点研究方向之一。将 SFS 方法应用在三坐标机上，实现智能化测量，可以提高测量的效率和精度。基于 SFS 的三维重构方法 3是一种被动式 3D 测量方法，即不需要投射受控的主动光源光到扫描对象上。基于 SFS 的三维模型构造方法所需要的器材只是一个普通的数码相机，通过从不同角度对物体进行拍摄，通过图象处理提取轮廓信息，再通过空间雕刻获得物体的体积模型，进而重构出逼真的物体三维模型 4。1.2明暗恢复
8、形状的方法（shape from shading 简称 SFS）研究的目地和意义随着计算机技术的不断发展，利用计算机自动获取图像或目标的三维信息己在社会生产生活的各个方面显示出越来越重要的地位和作用。特别是在一些三维形状或高程信息难以测量或不可测量的环境下，利用计算机自动获取三维信息就显得尤为重要。例如在遥感应用 5方面，过去仅据一幅航片或卫星照片是无法给出相应目标区域的高程信息的。然而高程信息对于很多遥感图像的应用是不可或缺的，例如在民用领域，根据某一区域的遥感图像的高程信息，对该区域进行洪涝灾害分析;为铁路、公路、水利建设或隧道工程设计提供所在山区的全景参考模型;为地形图的绘制、为地质工作
9、者地形丈量等提供参考模型;为在山区架设供电设备提供参考信息:甚至可以为旅游景点的勘察规划以及旅游路线的确定等提供必要的地形信息。六军用领域，三维军事地形信息的作用就更重要了。如对于战场的选择、战斗计一划的制定、部队以及武器装备的部署、最佳行军路线的确定，以及巡航导弹的制导等等，都离不开它。在文物保护方面，有些文物随着时光流逝逐渐变得暗淡甚至破损，必须对其进行数字化保存;有些古老文物因战争或者自然灾害等原因，只留下了历史照片，实物已经无处可寻。为了最大限度的保存和恢复古老文物，可根据现场拍摄的单幅照片或者遗留的历史照片进行几维仿真，重新制作文物模型。第 4 页 共 36 页在三维动画和虚拟现实领
10、域 6，如果能够从现实生活中物体的平面图片直接得到它的三维模型，这无疑会更好的和更逼真的描述物体原形，方便我们进行艺术加工，而且大大缩短完成周期。随着自动控制和书 L 器人技术的进步，视觉信息的获得和分析也越来越重要，如果能够把由摄像头得到的平面图片信息转化为三维空间信息，则将会使路径判断、物体识别等人工智能变的更加容易。因此，研究明暗恢复形状的算法有着非常重要的实际意义。1.3明暗恢复形状的方法（shape from shading 简称 SFS）的历史以及现状由明暗恢复形状(shape from shading)是一种根据物体图像灰度的变化来求解物体表面三维形状的方法，最早是 Horn 为
11、了解决月球表面的重构问题于上世纪七十年代最早提出的 7。近些年来，随着计算机视觉技术、辐射度学和光度学理论的发展，SFS 问题的求解算法取得了一定的进步。与传统的非接触式测量方法不同，该方法利用光照模型对图像辐照度方程进行逆向求解 8，所以只需要单幅图像就可以解决表面重构问题，成为了近年来研究的热点。光照模型描述了物体表面在光源照射下入射光与反射光强度之间的关系，同时还反映了使用摄像机或数字相机观察物体时，物体表面各点反射的光强度与该点对应的图像点亮度之间的关系。一般情况下，物体表面的灰度分布主要与以下儿个因素有关:物体表面的几何形状、光源的方向和强度、观察者的位置以及被光线照射的物体表面的反
12、射特性等。传统的 SFS 算法可以分为四类 9，即:最小化(minimization approaches)、演化方法(propagation approaches)、局部方法(local approaches)以及线性化方法 (line approaches)Horn10最早尝试解决这个问题，他最早的方法称为特征线(Characteristic strip method)。特征线是图像中一条特殊的线，如果知道这条线在起点处的初始值，沿特征线就能够计算出曲面的高度和方向。Horn 从单点(Singular points)的邻域开始构造初始曲面线。所谓单点，是指图象中具有最大强度的点。在假定相邻
13、特征线之间无交叉的情况下，沿特征线就可以逐步推出曲面形状信息。特征线的方向是强度梯度(intensity gradients) 11的方向。为了获得密集的曲面方向信息，当相邻两条特征线之间距离较大时，用插值方法可以得到一条新的特征线。其实，特征线方法本质上是一种演化方法(propagation approaches)。在他之后，又出现了其它一些演化方法。但是，即使是在图像中噪声很少的情况下，演化力一法仍有很高的误差，第 5 页 共 36 页这种误差会传播并不断累积。同时，这种方法的计算是不稳定的。于是，需要一种鲁棒性更强的算法，以便即使图像中存在不可避免的噪声的情况下，也能产生好的恢复结果。人
14、们从开始 SFS 研究的那一天起，就在不遗余力地寻找克服这些困难的办法，遗憾的是，时至今日，仍没有找到令人满意的最佳方案。进入九十年代后，随着计算机、仿生学、分形学、小波、神经网络、数理统计学、计算机视觉等多门与 SFS 密切相关的学科的迅速发展，SFS 领域 12出现了许多新的研究方向，这些知识的应用或许会为克服甚至彻底解决这些困难提供一个契机，未来的研究方向将集中在以下几个方面:a.混合反射模型的应用b.各种 SFS 算法的综合性研究c. SFS 技术与数据挖掘、数据融合技术的结合1.4论文安排论文由五章组成，各章内容及组织结构如下：第一章 绪论。着重论述了 shape from shad
15、ing 技术综述及其研究的意义，从阴影恢复形状方法的应用领域，目前研究存在的问题和最新研究方向，并简介本文的研究思路及主要内容。第二章 明暗恢复形状（简称 SFS）算法的分类及比较研究。深入分析总结了传统求解 SFS 问题的方法，并按基本原理，将其归纳为四种:最小化方法、演化方法、局部方法以及线性化方法。本章对每种方法作了详细介绍，并讨论了每种方法的特点。第三章 基于 SFS 的三维原型重建算法 13设计。汲取己有算法的精华，设计基于单幅图像的三维原型重建算法。第四章 基于 SFS 的三维原型重建软件实现。详细叙述了从开发环境的选择到算法程序的实现，通过对圆柱体的二维图像进行三维原型重建的精度
16、验证。第五章 结论及其展望。总结全文研究工作，展望未来研究方向。2 明暗恢复形状（shape from shading 简称 SFS）算法的分类通常 SFS 算法可以分为四类，即最小化方法(minimization approaches)、演化方法(propagation approaches)、局部方法(local approaches)以及线性化方法(linear approaches )。第 6 页 共 36 页最小化方法 14通过最小化一个能量方程解出 SFS 问题的解，它从整体上处理图像信息。构造合适的能量方程以及选择合适的最小化数值算法，是该方法的关键。演化方法是从图像中一组己知高
17、度的点(如奇点)出发，递推出整个曲面的形状信息。而局部方法则是基于对曲面形状的局部假设，进而推出曲面形状信息。该方法只能恢复曲面的方向信息，而无法得到曲面的高度值。线性化方法是通过将反射图线性化，来获得 SFS问题的解。2.1最小化方法最小化方法的关键问题是能量方程的构造以及最小化数值算法的选择。为构造能量方程，需引入合适的约束条件 15，其中，几种常见的约束条件有:亮度约束(brightness constraint)、光滑约束 (the smoothness constraint)、可积性约束(the inerrability constraint)、梯度约束 (the gradient
18、constraint)以及单位法失约束等。本节以Horn、 Zheng 和 Helipad 等人基于变分计算 (calculus of variations)的算法为例，来介绍这类方法的基本思想及求解方法。Horn 首先将 SFS 问题写成亮度约束的形式。亮度约束是 SFS 问题应满足的基本约束关系，它是直接从辐照度方程演化而来的，它将图像辐照度方程 (the image function)与反射图联系起来，形式为:式 2.1 2,ExyRpxyqdxy其中，E(x， y)是输入图像的亮度， R(p，q) 是由反射模型所确定的重建曲面的图像亮度。公式 2.1 表明输入图像与重建图像间的亮度误差
19、，重建要求两者之间尽可能相同，最佳的情况是两者相同。将误差项写为平方的形式，一是为了扩大两者之间的区别，另一方面，是保证结果非负。一般称 2.1 式为一个方程函数(function) 16，也就是函数的函数(a function of function)。能使该方程函数最小化的梯度值就是 SFS 问题的解。直接寻找该方程函数的极小值是相当困难的，于是，Holm 用变分计算的方法(the calculus of variation)寻找该方程函数的最小值。众所周知，方程函数的极值满足一个相应的欧拉方程组(Euler equation)。显然， 2.1 式是一个病态方程(ill-posed)，方程
20、有无穷多组解。也就是说，仅采用亮度约束无法获得唯一的曲面法失。因此，必须加入其它的约束条件，用于限制解的范围，这就是正则化(regularization)的方法。Horn 在假设重建曲面光滑的前提下，提出了光滑约束条件。这一条件的提出是为了使重建表面是光滑的，第 7 页 共 36 页也就是说，在一个小的领域范围，曲面方向变化很小。同时，引入光滑约束确保了SFS 算法收敛于一个唯一解。光滑约束的一种形式是:式 2.222xypqdx这里 p 和 q 是曲面沿:和 y 方向的梯度，即 是四个偏导数。该,xypq约束条件确保曲面在各个方向上是光滑的。光滑约束的另一种形式为:式 2.32xypqd这是
21、一个弱光滑约束，也就是说，仅要求 p 和 q 在 x 和 y 方向上连续变化。光滑约束条件也可以写成曲面法失的形式:式 2.42xynd这意味着曲面法失逐渐改变。Ketch 和 Horn 将 2.2 式作为惩罚项 (penalty term )代入 2.1 式中，组合成新的能量方程:式 2.5 2,2ExyRpqxpyqxyd 其中， 是拉格朗日乘数 (Lagrange multiple)。它控制着两种约束对重建过程的影响。如果几 =0，则光滑约束不起作用，方程仍然是病态的。如果 0 则亮度约束不起作用，实质上也就不存在 SFS 问题了。但是，如何选取合适的兄值，目前为止，并无统一的标准。还有
22、另外一种方程函数:式 2.6,xyFypqdx对应下列欧拉方程 17: 0ppxpy式 2.7qxqyF其中: 2,p PExyRq qFppxx第 8 页 共 36 页式 2.82qxxFpyyq于是，与 2.5 式对应的欧拉方程是:, 0p xyRExypp式 2.9,q xyqq引入拉普拉斯算子（the Laplacian operator）, 将 2.9 式写为:2,xy20ERp式 2.10q离散逼近(discrete approximation) 拉普拉斯算子可得:式 2.112,24ijijijp其中 是网格间距， 是法失的局部平均值。将其代入 2.10 式可得:,ij 2, ,
23、.4ijijijijPijpERpqq式 2.122, ,.ijijijijPijq于是，可以推出迭代过程： 21,.4k kkijijijijijPijijpERpqpq式 2.1321,.k kkijijijijijPijijq如果己知初始值(如遮挡边界处的值)，则利用 Jacobin 方法、Gauss- Seidel 方法以 及多网格 (multiple grid )方法即可求得方程组的解。第 9 页 共 36 页但另一方面，引入光滑约束会导致生成过分光滑(over- smoothed)18的曲面，同时，即使在满足光滑约束的情况下，重建曲面的梯度亦会表现出不一致。这意味着曲面一阶偏导不连
24、续，也就是说，存在 或 的情况。于是，对于同样的图像点，xyzxyp应用不同的积分路径，积分过程将导致得到不同的 z 值。也就是说，在曲面梯度与曲面高度之间，不存在唯一的对应关系。为了确保生成有效曲面，Horn 引入了可积性约束，也就是 它的形式是:xyz式 2.142yxpqd或:式 2.1522xyzzxd于是，新的能量方程为:式 2.162 2222,xyxyxxExyRpqpqzpzqdy 通过最小化该能量方程，可以直接计算出曲面高度值，而不需先计算出梯度值，然后再通过积分获得曲面高度值。Zheng 和 Helipad 用强度梯度约束取代光滑约束，以消除前述的光滑约束的局限性。强度梯度
25、约束 (the intensity gradient constraint)可以写成如下形式:式 2.1722xXyYREdxy这个公式意味着强度梯度约束，要求重建图像的强度梯度应该与该输入图像的强度梯度在 x 和 y 方向上相同。能量方程形式为:式 2.1822222XYxxERzpzqdy 2.2 演化方法演化方法从图像中一组已知方向或高度的参考点出发，逐步演化出整个曲面的形状信息。该算法的一个关键步骤是找到图像中可唯一确定形状的某一点或某一些点，并从这些点出发，通过迭代方式，或者沿图像中特定的直线或曲线路径积分，进而求得整个表面的解。这一节讨论这种算法。第 10 页 共 36 页Horn
26、 的特征线法(the characteristic strip methods)19实质上就是一种演化方法。Horn首先假定初始值己知，用三维坐标 和梯度 来标识。在初始点的领域内0,xyz0,pq移动一个 值可得:0yx式 2.19zpqy其中 是梯度值。梯度的变化可由下式获得:,pqxy式 2.20q上述 5 个微分方程就定义了一个新点，要解这组微分方程，就必须应用图像的强度信息。已知 ，于是，强度的变化可以写为:,ExyRpxPxqx式 2.21yyy选择最速上升方向为演化的方向，可得: PxR式 2.22qy将 2.22 式代入 2.19 和 2.20 式中，可得: pqzR式 2.23xyxEpqy于是，只要知道初始值，就可获得上述微分方程的解，通常，特征线的初值来自遮挡边界。Horn 特征线方法的缺点是，因为在沿特征线确定下一个值时，只使用了一个前驱点处的值，这导致了该算法的两个缺点，首先，误差会沿着特征线传播，其次，算法鲁
