1、本科毕业设计 (论文 )文献综述 电子信息 工程 视差估计技术综述 摘要： 近年来随着计算机技术快速发展，立体视频，视频会议技术得到很大程度的提高。其中视差估计对这个系统有着极其重要的作用。 本文主要针对视频编码中的视差估计做了相关研究，着重介绍了视差估计的相关概念，历史发展以及 根据采用 匹配基元的不同，从而将其主要归纳为基于区域和基于特征方法两种类型。再结合最新的视差估计技术进而对视差估计的发展趋势进行新的研究与展望。 关键词： 视差估计；视频编码；匹配基元； 1.引言 随着计算机技术高速更新与发展， 立体视频，视频会议 等技术有了空前提高。据统计，人类从外部获取的信息中约有 60 75
2、1来自视觉系统。随着人们对视觉享受的追求不断提高，我们必须大力发展与视频信息密切相关的加工，处理等一些先进技术，其中对视频信息的加工处理、传输的首要问题就是对如此巨大的数据量我们该怎么做到最有效的压缩编码。而在这整个过程中，视差估计一直是视频编码领域中的研究重点和热点 2，它对整个系统的有着极其重要的作用。 本文针对视差估计技术做了相关研究。总结了其相关概念与历史发展，介绍了最新的视差估计技术，最后对视差估计做了总结与展望。 2.视 差估计的概念与发展历史 人们 通常所说的视差 3就是一种在自然界三维信息中对于同一场景在不同视点图像中成像的细微差异，而视差估计的主要任务就是在两个成像平面中寻找
3、同一物理元素在不同通道之间的对应关系 4，寻找对应点的过程则是视差求取的过程。视差估计同样也是视频编码中最为关键的一步，因而受到了人们的普遍重视，并在计算机视觉领域得到了应用，成为一个非常活跃的研究课题 5。 视频处理技术的不断发展，到了 90年代后期，研究视差估计的通用算法成为了当时的热潮，许多学者对此不断深入研究并收获一定成果，如虚拟现实、三 维重建和摄影测量等。Koschan6总结了 1989年到 1993年视差估计的新算法，其中主要包括算法的实时性问题，主动和动态求取算法，以及对遮挡的早期研究等工作。 Myron Z Brown7等则对 1993年至 2003年期间视差估计技术的发展进
4、行了总结，并对某些问题进行了重点的研究，如实时性问题和对遮挡的处理。到了 2002年， Scharstein和 Szeliski8总结了以前视差估计算法，并将视差估计整个过程分为四个步骤：匹配代价计算，匹配代价叠加，视差获取及优化，视差优化，从此视差估计的发展进入了 一个系统、快速的发展阶段。 3. 视差估计的分类 视差估计根据采用不同的匹配基元可分为基于区域和基于特征两种方法。 基于区域分析的视差估计把一幅图像某一点的灰度领域作为匹配基元，在另一幅图像中搜索具有相同或相似灰度值分布的对应领域，从而实现图像的匹配并得到各个点的视差。 9与其不同，基于特征的视差估计不直接利用图像灰度，而是通过能
5、表示景物自身特性的特征来实现匹配。其步骤主要包括特征提取和特征匹配 10。特征提取是利用特征提取算子提取图像的特征，这些特征通常都是图像中灰度变化明显的点、线、面或图像结构关系 。而特征匹配是在左右图像对的特征之间寻找对应关系，通常这是一种一一对应的关系 11。 另外这两种视差估计方法都或多或少存在自身不足之处。 基于区域方法： 1.对图像灰度统计要求较高，容易出现匹配错误； 2.在左右的两幅图像如果存在重复的纹理或者相邻的像素存在深度间断，则会影起匹配混淆。 3.由于此方法要对每一个区域进行穷举匹配，因此相对计算量庞大。 基于特征方法： 1.对特征的提取要求较高，会很大程度上影响匹配精度。
6、2.只能得到稀疏的视差场。而要获得密集的视差场必须要用插值实现，但插值本身就是一个复杂的病态过程 12。 4.视差估计最新技术算法 4.1基于可变特征基元的视差估计 该算法采用可变线段基元，结合立体几何特性，能更为精确的描述视差估计问题，从而可以得到任意精度的视差场。首先对左右两幅图像进行灰度补偿；再从图像中间每一行开始，使用经典分水岭算法对其进行分割，得到一些列的特征线段；从该行的中间某个特征线段开始匹配，在右图搜索其匹配线段；当该行的匹配结束后，接着进行相邻的特征线段匹配，如此直至匹配结束。这里的利用唯一性和顺序性增加了视差估计的可靠性及准确性 5。 4.2基于相位与区域分割的视差估计算法
7、 该算法首 先利用相位匹配求取初始视差图，并利用视差一致性检测误匹配点。再对参考图像进行分割，根据初始视差估计误匹配点视差，最终得到致密视差图。该方法可以有效抑制相位奇异，解决相位卷绕问题，并通过结合图像分割与平面拟合，修补相位匹配的结果，得到边缘清晰、精确度较高的致密视差图 13。 4.3基于冗余离散小波变换的立体图像视差估计 该算法为提高立体图像视差估计的准确度及效率，从图像特征点入手，结合 DT网格技术14，提出基于冗余离散小波变换的立体图像视差估计法对参考图像进行冗余离散小波变换后，根据其平移不变性和各级 子带大小相同的特点，通过各级高频子带相乘、叠加，再取相应阈值，得到参考图像特征点
8、，并形成 DT网格；以特征点为中心在目标图像中进行视差估计，得到各特征点的视差矢量，再结合仿射变换得到三角形内部各点的视差矢量。从而形成浓密的视差图 14。 5.发展趋势 近年来，视差估计在计算机视觉，立体视频及多视点视频都是一个很重要的研究方向，同样也是一个研究重点和难点。左右两幅图像的灰度值匹配很注重期间的实时性与准确性。今后在工程应用上的发展在很多方面仍须继续深入，细致研究。本文认为可以结合运动估计和视差估计，进行联合估计 ，以此来确保准确度；在算法方面，可以将生物规律智能的运用到工程全局搜索最优，以此来克服以往算法可能陷入局部最优的缺点，同时还可以有效地兼顾搜索精度和速度的要求。 参考
9、文献： 1马颂德，张正友计算机视觉 计算理论与算法基础北京：科学出版社， 1998。 2M Z Brown， D Burschka and G D Hager Advances in Computational StereoJ IEEE Transactions on Pattern Analysis and Machine Intelligence 2005 25(8) 3郑竺英 .双眼立体视觉的信息加工。北京：科学出版社 1998.23 90 4Koschan， A， What is New in Computational Stereo Since 1989： A Survey of C
10、urrent Stereo PapersR， Technical Report93-22 Univ of Berlin， l993 5陈文鑫，朱仲杰。 基于可变特征基元的视差估计 新方法 J 计算机工程与应用 2008, 44( 15). 6Koschan， A， What is New in Computational Stereo Since 1989： A Survey of Current Stereo PapersR， Technical Report93-22 Univ of Berlin， l993 7M Z Brown， D Burschka and G D Hager Adv
11、ances in Computational StereoJ IEEE Transactions on Pattern Analysis and Machine Intelligence 2005 25(8) 8D Scharstein and R Szeliski A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence AlgorithmsJ International Journal of Computer Vision 2002， 47(1)： 7-42. 9 韩军功，卢朝阳。一种新的用于立体图像编码的视差估计
12、算法 J计算 机学报 第12 期 2003 年 12 月 . 10韩军功 , 卢朝阳。用于立体图像编码的自适应块匹配视差估计算法 J 西安电子科技大学学报 ( 自然科学版 )2004 年 6 月 . 11郭龙源，夏永泉，杨静宇 Rank 变换在立体匹配中的应用研究 J系统仿真学报 2007 19(9)： 2121 2123 12M Pollefeys Vision Modeling with a Hand-held CameraJ International Journal of Computer Vision， 2004， 59(3) 13刘盛夏，周军。基于相位与区域分割的视差估计算法 J 计算机工程 第 36 卷， 第 17 期 2010 年 9 月 . 14高韬，刘正光。基于冗余离散小波变换的立体图像视差估计 J 天津大学学报 2008 年 11 期 .
