深度视频及视频预处理技术【文献综述】.doc

1、毕业设计文献综述电子信息科学与技术深度视频及视频预处理技术摘要多视点视频具有任意切换视点的特点，但由于稀疏的相机序列无法获得各个角度的视点，这就需要利用深度图来合成虚拟视点。对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位。本文主要介绍了深度图的特性，深度视频预处理的几种方法。关键词多视点视频；深度图；预处理一、背景11多视点视频多视点视频MULTIVIEWVIDEO是一种新型的具有立体感和交互操作功能的视频14，它通过多个视点的视频数据满足用户从多个角度选择和操作视听对象，提供了场景漫游的交互能力。多视点视频信号是由一组平行、会聚或任意角度的相机阵列拍摄得到的视频

2、信号。能提供拍摄场景不同角度的视频信息利，用其中的一个或多个视点信息可以合成任意视点的信息，达到自由切换任意视点的目的。为了满足多视点视频达到自由切换任意视点的目的，使用户可以切换到原本场景中并不存在的视点，我们必须通过获取深度图来绘制产生虚拟视点。随着相机数目的增加，多视点视频的数据量也成倍增加5，同样，所需传输的深度信息量也增加。因此需要研究有效的深度图像压缩方法，以缓解带宽压力。系统的一个挑战就是研究实现一种高效的多路编码传输机制，从而对数据进行高效地压缩以便存储和传输视频序列。12深度图的特性深度图获取主要有两种方式1）通过深度相机获取；2）通过视差估计得到视差图，进而转换得到深度图。

3、通过深度相机来获取深度图，由于价格等因素，现阶段无法商用化。因此，降低深度相机的成本是这方面努力的主要方向。通过深度估计算法来得到深度图，目前仍然存在着计算量大、效果达不到应用要求等问题，因此，需要提出一个满足应用需求的深度估计算法。另外，目前的深度估计算法仅适用于一维相机情况，因此，需要考虑不同的相机配置情况下，深度估计的问题。现阶段MPEG组织的主要目光就是集中在深度获取上。深度图的特性应该从两个方面来讨论（1）理论上深度图的特性；（2）现有深度图的特性。深度图与彩色图像相比具有纹理简单的特点。它只在对象边界处产生深度图值的跳变，而在对象内部以及背景部分保持平坦。对于相机固定的序列，背景的

4、深度值应该保证不变。深度图的时空相关性要大于彩色图像的时空相关性。因此，采用H264压缩标准压缩深度图和彩色图像时，深度图的压缩效率较高。深度图主要是用于绘制产生虚拟视点。不同的深度图区域对最终的绘制效果影响各异。其中，以深度图中边缘部分的影响最大67。所以深度压缩时应该保护深度边界的深度值。13深度图的研究现状及发展趋势在2007年以前，运动图像专家组（MOVINGPICTUREEXPERTSGROUP,MPEG组织主要研究视差信息，由于视差的局限性，深度信息开始被人们关注。并且现阶段是MPEG组织的主要研究方向。国外研究深度主要有GIST研究所，NAGOYA大学，PHILIPS公司等研究机

5、构。国内如西安电子科技大学，清华大学，宁波大学以及华为等机构在研究，并作出了不错的贡献。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。二、预处理技术的方法文献88提出了基于视觉特性的视频压缩预处理方法的研究，本文讨论了利用人眼的视觉特性，对视频进行处理优化后再进行正常的编码压缩传输。实验结果表明，本文采用的预处理算法在提高压缩比的同时可以有效地保证视频质量；在对原始视频进行相同程度压缩时，本文算法预处理后获得的；既频主观质量明显好于原始直接压缩。文献99提出了视频检测对象的图像预处理研究，本文主要针对视频检测对象的图像预处理常用技术，包括图像灰度化、图像灰度修正、图

6、像滤波、图像锐化，并对各种图像处理技术的常用方法进行了介绍，给出了实验结果并进行分析。文献1010提出了针对基于FPGA的视频图像预处理的算法研究，针对基于FPGA器件实现实时视频图像处理中原始视频数据与视频编码算法不兼容的问题，本文提出了一种离散缩放算法，通过它对原始图像进行预处理，能使图像缩放后仍具有自然分明的边界，达到较为理想的视觉效果，可以更好地通过FPGA器件进行后来的视频图像压缩。文献1111提出了基于运动补偿的视频预处理，针对预处理算法易在空域产生边缘模糊和在时域产生拖尾等图像扭曲现象，提出一种基于运动估计的时域滤波预处理算法。该方法通过运动补偿技术将时域滤波映射到空域进行处理，

7、有效地去除视频序列时域不相关的细节信息，避免空域模糊和时域拖尾，达到降噪和提高编码效率的目的。实验结果表明，在同等视频质量PSNR下，该预处理算法较预处理前可降低编码码率1232，同等码率下视频序列的平均PSNR值比使用空域预处理方法高4DB9DB。三、深度视频在时间轴上进行平滑处理图像平滑的目的是为了消除噪声，主要处理方式有邻域平均法即通过提高信噪比，取得较好的平滑效果；空间域低通滤波采用低通滤波的方法去除噪声；以及频域低通滤波法通过除去其高频分量就能去掉噪声，从而使图像得到平滑。31空间域平滑处理311邻域平均法邻域平均法是简单的空域处理方法。这种方法的基本思想是用几个像素灰度的平均值来代

8、替每个像素的灰度。邻域平均法的空域思想使得算法的思想简单、清晰；处理结果表明，邻域平均算法对抑制噪声是有效的。但是，随着邻域的增大，图像的模糊程度也愈加严重。为克服这一缺点，可以采用阈值法减少由于邻域平均所产生的模糊效应。312低通滤波法这种方法是一种频域处理法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分以及颗粒噪声代表图像信号的高频分量，而大面积的背景区则代表图像信号的低频分量。用滤波的方法滤除其高频部分就能去掉噪声，使图像得到平滑1213。313多图像平均法如果一幅图像包含有加性噪声，这些噪声对于每个坐标点是不相关的，并且其平均值为零，在这种情况下就可能采用多图像平均法来达到去掉

9、噪声的目的。多图像平均法是把一系列有噪声的图像GJX，Y迭加起来，然后再取平均值以达到平滑的目的1415。以上这些方法在不同程度上增强了去噪效果，但也带来了运算复杂、适用面窄等缺点。因而我们在选择消除噪声方法时，必须综合考虑各种因素，选择最适合的平滑方法。四、总结对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。本文介绍的几种深度视频预处理方法，以及深度多视点视频编码方法都有各自不同的优缺点。本人将在下一阶段的工作中针对各方法的优缺点，选择或设计一种适合本课题的实现方法，完成课题任务主要参考文献1彭宗举,郁梅,蒋刚毅,等一种多视点视

10、频编码的宏块模式快速选择新算法J高技术通讯,2008,1832532582毕厚杰新一代视频压缩编码标准H264/AVCM北京人民邮电出版社,20053朱仲杰,郁梅,蒋刚毅用于立体视频会议系统的立体对象分割和跟踪算法J计算机辅助设计与图形学报,200416316204张云多视点视频信号的先进编码研究D宁波大学,20075蒋刚毅,张云,郁梅基于相关性分析的多模式多视点视频编码J计算机学报,2007,3012220522116OHH,HOYSH264BASEDDEPTHMAPSEQUENCECODINGUSINGMOTIONINFORMATIONOFCORRESPONDINGTEXTUREVIDEO

11、JLECTURENOTESINCOMPUTERSCIENCEVOL4319,PP898,20067SMOLICA,MUELLERK,ETALMULTIVIEWVIDEOPLUSDEPTHMVDFORMATFORADVANCED3DVIDEOSYSTEMSCSANJOSE,USAAPR,20078于新波,赵辉,孙畅基于视觉特性的视频压缩预处理方法的研究J电气电子教学学报,2008,30148519朱茜,马震视频检测对象的图像预处理研究J福建电脑,200910侯佳欣,宋宇针对基于FPGA的视频图像预处理算法研究J200810710811谢正光,包志华,徐晨,章国安,张士兵,杨永杰基于运动补偿的视频

12、预处理算法J计算机工程2009,351922222312DOULAMISAD,DOULAMISND,NTALIANISKS,ETALUNSUPERVISEDSEMANTICOBJECTSEGMENTATIONOFSTEREOSCOPICVIDEOSEQUENCESCPROCOFIEEEINTCONFONINTELLIGENCE,INFORMATIONANDSYSTEMSWASHINGTONDC,USAIEEEPRESS,199952753313FANLIANGZHONG,YUMEI,JIANGGANGYIRESEARCHONREALIZATIONMETHODOFINTERPOLATIONBAS

13、EDONRAYSPACEINFVVCCSCAS,200424634914JENSKLAPPSTEIN,TOBIVAUDREY,CLEMENSRABEL,ANDREASWEDEL,REINHARDKLETTEMOVINGOBJECTSEGMENTATIONUSINGOPTICALFLOWANDDEPTHINFORMATIONJLECTURENOTESINCOMPUTERSCIENCEINCLUDINGSUBSERIESLECTURENOTESINARTIFICIALINTELLIGENCEANDLECTURENOTESINBIOINFORMATICS,200961162315MASAYUKITANIMOTO,TOSHIAKIFUJII,KAZUYOSHISUZUKIIMPROVEMENTOFDEPTHMAPESTIMATIONANDVIEWSYNTHESISSISO/IECJTC1/SC29/WG11M15090,ANTALYA,TURKEY,2008