1、 1 毕业论文文献综述 电子信息工程 视差估计的新方法综述 摘要： 本文对多视点视频编码中的视差估计的各种方法做了较为广泛的介绍。首先对视差估计的概念、概况、约束性条件等做了解释，然后介绍了几种传统的视差估计方法，接着介绍了几种新的视差估计方法，并对这些方法的优缺点进行阐述。最后对视差估计的前景作了展望。 关键字： 多视点视频编码；视差估计；传统方法；新方法 1. 引言 ： 多视点视频是一种新型的具有立体感和交互操作功能的视频 1. 2 , 它由多个摄像机拍摄得到 , 其数据量随着摄像机的增加而成倍增加 , 所以在存储和传输时 必须进行高效的编码压缩 3。视差估计是多视点视频编码中几种关键技术
2、之一，也是一个难点问题。立体视频和多视点高效编码压缩的前提在于可靠而准确的视差信息。 视差估计就是寻找同一空间景物在不同视点下投影图像的对应点间的关系 ,视差估计越精确 ,所得到的预测图像就越接近原图像 ,残差图像就越小 ,就能得到较高的压缩比 1。视差由摄像机几何与物体表面的连续性所约束，如无果这些约束被适合的使用，那对视差估计是十分有好处的。常用的约束条件有极线约束条件、方向性约束条件、同一帧内视差矢量存在的相关性和相邻对应块的视差矢量存在的 相关性 1。 视差估计想要获得可靠而准确的密集视差十分困难。在对视差估计的三十多年研究历史中，一直没有找到令人满意的结果。针对这些问题，本文在几种传
3、统视差方法基础上，介绍几种新的视差估计方法。 2. 视差估计方法 传统视差估计技术基本上可以分为基于特征匹配、基于区域匹配和基于能量匹配的三种方法 4。其中，基于特征匹配的方法在早期得到比较大范围使用，它是先将图像中的特征信息提取出来，在进行特征信息的匹配。这个方法的优点是准确性比较高，且可以进行灵活的匹配；其缺点是只能得到稀疏的视差场而非密集的。基于区域匹配的方 法算法速度快而且比较简单，它的优点在于在平坦区域中所获得效果较好，但精度就比较低，这是一种常用的方法。基于能量的视差匹配方法主要基于马尔可夫随机场模型 , 通过用能量函数并且使它最小化 ,得到视差场 ,这种方法一般能获得比较理想的效
4、果 4，但这种方法计算量较大，同时它的算法也很复杂。 以上三种方法是传统的视差估计方法，现介绍几种新的视差估计算法，分别为基于半规则网络2 的视差估计算法、基于基于冗余小波变换的立体图像视差估计、基于可变特征基元的视差估计算法和基于纹理分析的视差估计算法。 2.1 基于多级块匹配算法的视 差估计算法 基于多级块匹配算法的视差估计算法先采用较大的匹配块根据 MAD 准则进行匹配，再将 MAD值大于给定阈值的图像块分成较小的块进行匹配，直到所有匹配块的 MAD 值都小于给定阈值。如果特征视差矢量精确度不高，就要把它所在的块重新进行小范围内的匹配。如果匹配后，误差依然很大，就把它分为四个子块后重新匹
5、配。每一级匹配完成后，用 Moravec 算子对视差矢量进行检测，提取具有特征值的视差矢量，对特征视差矢量再用校验准则进行校验，以保证提取的视差矢量的可靠性 5。 与传统的算法相比较，此方法可以得到更精确更平滑的视 差场，从而提高重建后所得到的图像的质量。 2.2 基于半规则网络的视差估计算法 一般视差估计中传统的网格法，当边界出现在两节点之间时，由于节点分布与图像的内容没有关系，会产生模型误差。总体的估计的效果还会被背景的不准确性所影响。针对这一缺陷，半规则的网格来估计视差的方法就被提出了。 半规则网络视差估计算法结合了具有均匀分布节点的规则网格，以及具有沿着物体边界节点的非规则网格两种方法
6、。这种方法的网格选择了梯度和最高的行列焦点作为节点，利用每节点的梯度值继而删减缺乏纹理区域中的节点，然后在多分辨率下将快迭代与网 格迭代进行混合，接着匹配剩余的节点 6。 2.3 基于冗余小波变换的立体图像视差估计算法 在小波变换下，图像信号的奇异点随尺度的增加而增大，信号的特征点可以由相邻尺度的小波系数相乘而增强。冗余小波具有平移不变性 , 各子带图像尺寸大小相等等特点 , 十分便于计算 7。所以模板由将相邻尺度的子带系数的乘积求和就能获得，然后算出各个像素点的模板值，若模板值大于阈值 T 就定此像素点为特征点。于是就得到了整个图像的特征点。模板如下： ),(),(),(),( )()()(
7、 101010yxHHyxLHyxHLyxm a s k jJ JjjJ JjjJ Jj 7（ 1） 式（ 1）中 0J 和 1J 代表开始和结束的尺度。 基于冗余小波变换的立体图像视差估计算法借鉴了图像特征点发与块匹配法格各自的特点。相对于目前的算法，基于冗余小波变换的立体图像视差估计算法有效地提取了视差矢量，具有良好的匹配效果，能够得到较好的重建图像 5。 3 2.4 基于可变特征基元的视差估计算法 基于可变特征基元的视差估计方法面向中间视点图像的合成以及立体场景的重建等视差精度要求较高的应用领域。 该种方法的主要步骤如下： （ 1）对两幅图像进行灰度补偿 ，设 ),(1 yxf 和 ),
8、(1 yxf 分别表示一幅图的原图和它补偿后的图像，补偿方法为： )(),(),( 11111 rrr mmyxfyxf 4 （ 2） 式（ 2）中， 1m 和 rm 分别表示两幅原图的均值， 1 和 r 分别表示两幅图的灰度方差。 （ 2）从图像中的一行开始，用分水岭算法将图像分割 。分割后获得的一系列特征线段，记)1,0(1 NiLi ，为特征线段的数量。 （ 3）从该行中间的某个特征线段 1iL 开始匹配，给定 和 的取值范围，在一幅原图中搜索 1iL的匹配线段，记 1jL 。 （ 4）当 1iL 匹配完成以后，再进行相邻的下一特征线 段的匹配，也就是 11iL 和 11iL 的匹配。
9、（ 5）当一行匹配结束后开始下一行的匹配，直至匹配结束 4。 为了能更加精确的描述视差估计问题以及取得密集的视差场，此种方案选择了可变长线段作特征基元，一行一行地进行匹配，并利用顺序性约束条件和唯一性约束条件增强了视差估计的可靠性和准确性。 2.5 基于纹理分析的视差估计算法 基于纹理分析的视差估计算法是针对传统方法无法可靠估计图像中纹理单一的像素点的视差问题而提出的。它不同于已有的算法， 在用极线约束来计算像素点的视差时，把级线上纹理单一而且近似的像素点合并成为直线线段，并根据连续性和唯一性这些约束，对于直线段进行整体匹配，采用直线段的视差，获得纹理单一区域的稠密视差图 8。 除了本文介绍的
10、几种视差估计算法外，另也有几种方法值得学习，如先用 Birchfield 算法 9进行快速的视差估计方法得到一个较为平滑的视差图 , 然后对初始的分割结果用形态学滤波 10的方法、基于校正对极线的视差快速搜索算法 1以及基于分割的可变权值和视差估计的立体匹配算法 11等等。 3. 总结 4 以上介绍的几种较新视 差估计算法，各有各的优缺点。其中，基于多级块匹配算法的视差估计算法可以得到更精确更平滑的视差场，从而提高重建后所得到的图像的质量。基于半规则网络的视差估计算法减少了空间上的复杂度和算法的时间，并对原有对象的特征能较好的保持，但对部分模型简化时会形成区域真空，且点云的保留也较少。基于冗余
11、小波变换的立体图像视差估计算法不但提高了运行速度，准确性也有很大提升，而且通过仿射变换能够获得浓密的视差图，这为将来的立体图像的压缩以及例题视频的分析和处理提供了新的的平台。基于可变特征基元的视差估计算法结合立体几何特性，更精 确地描述了视差估计问题，与传统方法相比可以做到任意精度的视差场。基于纹理分析的视差估计算法利用直线段整体匹配，减少了扫描范围，降低了产生误匹配的概率和算法时间的复杂度。 通过几种传统的视差估计方法和较新的视差估计算法的初步介绍，使我们对视差估计有了初步的了解，这对以后的学习和设计有很大帮助。熟悉这些视差估计方法的优缺点，我们就可以在不同条件下，对不同类型的图像以及视频进
12、行相对适合的视差估计，从而最大限度的提高多视点视频编码效率。 作为占多视点视频编码 80%工作量的工程，运动和视差估计算法的设计以及模式的选择 ，决定了编码过程的效率。因此，对视差估计方法的研究十分必要，研究难度也逐渐增大，这也说明了对视差估计的研究仍有很大的提升空间 12。随着进一步对视差估计算法的研究，一定会有更新、更优质的算法被提出。 参考文献 1 Strintzis M G, Malassiot is S . Object based coding of stereoscopic and 3D image sequences J. IEEE Signal Processing Maga
13、zine, 1999, 16(3):14- 28. 2 Ohm J R. Encoding and reconstruct ion of multiview video objects J. IEEE Signal Processing Magazine, 1999, 12(7):47- 54. 3 李淳 , 马力妮 . 多视点视频编码技术研究 J. 计算机与现代化 , 2009, 1:105-108. 4 陈文鑫 , 陈伟东 , 朱仲杰 , 白永强 .基于可变特征基元的视差估计新方法 J. 计算机工程与应用 , 2008, 44(15):58-60. 5 朱仲杰 , 蒋刚毅 , 郁梅 , 吴
14、训威 . 多视点视频编码中的视频目标提取与视差匹配 J. 电子学报 , 2004, 32(5):848-850 6 吴书凯 , 都 思丹 , 李华 . 基于半规 则网格的 视差估计算 法 J. 计算机 应用 , 2008, 28(4):759-959. 7 高韬 , 刘正光 . 基于冗余小波变换的立体图像视差估计 J. 电视技术 , 2008, 32(4):23-25. 5 8 葛亮 , 朱庆生 , 傅思思 . 基于纹理分析的视差估计算法 J. 计算机工程 , 2009, 35(20):7-9. 9 Birchfield S, Tomasi C. Depth discontinuities by pixel-to-pixel stereoC. Sixth International Journal of Computer Vision, Bombay, India: IEEE, 1998:1073-1080. 10张倩 , 吴妍菲 , 安平 , 张兆杨 . 一种多视点视频中的对象提取方法 J. 液晶与显示 , 2010, 25(4):598-600. 11 刘天亮 , 罗立民 . 一种基于分割的可变权值和视差估计的立体匹配算法 J. 光学学报 , 2009, 29(4):2-9. 12 张磊 . 多视点视频编码中运动与视差估计的研究 D. 西安电子科技大学 , 2010.
