1、1毕业设计开题报告电子信息科学与技术深度视频预处理方法的设计和实现一、选题的背景与意义随着宽带网络技术的不断发展和多媒体技术的不断进步，人们对多媒体应用的期盼也越来越高，传统的二维视频已无法满足人们日益增长的观看需求。自由视点视频FVV,FREEVIEWPOINTVIDEO系统是当前先进视觉媒体模式。FVV系统能让人们通过自由选择视点欣赏场景体验到身临其境的感觉。因而，这种媒体模式在教育培训、娱乐、交通、银行、医疗和文化遗产保护等领域具有非常广阔的应用前景和巨大的市场价值。通常情况下，一个自由视点视频系统从逻辑结构上分为服务器端和用户端两个部分。在服务器端，利用多个相机对同一场景进行采集而得到
2、多路视频信号，并且完成多视点视频的压缩编码。多视点视频编码（MULTIVIEWVIDEOCODINGMVC）是新一代多媒体的技术核心之一，也是现阶段多媒体领域的研究热点之一。压缩后的多视点视频码流通过网络传送到用户端用于自由视频的显示。目前，两大国际标准化组织ISO的MPEG和ITU的VCEG组成的联合视频专家组JVT,JOINTVIDEOTEAM制定的FVV标准草案里采用多视点彩色视频和深度视频MVD,MULTIVIEWVIDEOPLUSDEPTH来表示3D场景和实现FVV系统。基于MVD的FVV系统可以采用基于深度的绘制技术把有限个实际视点视频扩展到无限个虚拟视点，实现视点间的平滑过渡。在
3、基于MVD的FVV系统中，由于深度多视点数据的数据量和相机的数量正比。与单通道视频信号相比，MVD有着非常大的数据量。因而，多视点视频的压缩编码是一项关键技术，直接影响到FVV信号能否进入到实际应用领域。在基于MVD的FVV系统中，深度视频信号一般由服务器端传送给用户端，进而降低用户端的接受设备的生产成本。因为，用户端的设备一般不具备很强的计算能力，深度不适合在用户端通过深度估计产生。即深度视频需要在服务端采集得到。深度信息可以通过深度相机采集或者通过深度估计程序来获得。由于深度相机价格昂贵，目前深度视频序列一般是通过深度估计而得到。在MVD信号中，从理论上讲，深度视频只需要普通彩色视频的10
4、20的码流就可以获得较高的图像质量。但是，通过深度估计或者通过深度相机而得到的深度视频在时间相关性比对应彩色视频差，因而不能获得很好的压缩性能。很难达到理论上的压缩效果，因此深度视频需要考虑时间上相关性的影响。2本课题研究的是关于深度视频预处理的设计与实现。二、研究的基本内容,拟解决的主要问题21研究的基本内容基于MVD数据表达方式的FVV系统结构主要包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。本课题主要研究的是在了解深度视频特性的基础上，将视频进行预处理，从而解决深度视频在时间上相关性比较弱的情况。然后再对它进行编码，得到我们所需的结果。211深度视频的特性分析在多视点
5、彩色视频和对应深度视频信号中，深度视频代表的是对应彩色视频场景到摄像机成像平面的距离信息，它将实际距离值量化到0，255。然而,由相机获取或者软件估计的深度视频不是很准确。比如，同一彩色视频序列的不同帧中内容不变的区域，这些区域的深度值应当是固定不变的。然而，在对应深度视频序列中，这些区域的深度值却是变化的。深度视频在在时间轴上内容和对应彩色视频相比，具有更多的不一致性。这种特点直接导致了深度视频序列在时间方向比对应的彩色视频的相关性弱。由于在多视点视频中，大多数序列都是时间方向的相关性强于视点间的相关性，所以在多视点视频编码中，采用大量的以时间参考为主的预测编码结构。因此，利用这些编码结构对
6、深度视频进行编码时，深度视频在时间上比彩色视频较弱的相关性会大大地影响编码效率。212深度视频信号的获取深度图获取主要有两种方式1）通过深度相机获取；2）通过视差估计得到视差图，进而转换得到深度图。通过深度相机来获取深度图，由于价格等因素，现阶段无法商用化。因此，降低深度相机的成本是这方面努力的主要方向。通过深度估计算法来得到深度图，目前仍然存在着计算量大、效果达不到应用要求等问题，因此，需要提出一个满足应用需求的深度估计算法。另外，目前的深度估计算法仅适用于一维相机情况，因此，需要考虑不同的相机配置情况下，深度估计的问题。现阶段MPEG组织的主要目光就是集中在深度获取上。213视频预处理由于
7、深度视频序列在时间上内容的不一致而导致了较弱的相关性。因此，为了提高深度视频的编码效率，需要对深度视频在编码之前进行预处理，增强在其时间上的一致性。视频主要是由图像形成的，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。预处理过程一般有数字化、几何变换、归一化、平滑、3复原和增强等步骤，此课题我采用时间平滑处理的预处理方法来解决存在的时间相关性问题。214多视点视频编码及编码的实现H264/AVC是目前算法复杂度最高,编码效率最高的基于混合编码框架的视频编码标准,被称为新一代视频压缩编码
8、标准,已经引起越来越多的关注。它集中了许多视频编码技术的最新研究成果,能够显著提高编码效率且具有网络友好性,可有效用于各种网络和应用环境,尤其在低码率视频编码方面性能比MPEG4视频编码标准有显著提高。采用H264编码标准对处理完的深度视频在JMVM平台上进行编码实验，比较码流和虚拟视点绘制的质量，通过比较衡量所设计的深度平滑处理方法进行评测。22拟解决的主要问题1分析多视点深度视频的特性；2对深度视频进行帧内的时间平滑处理的算法的研究；3研究深度视频预处理的算法；三、研究的方法与技术路线31深度视频在时间轴上进行平滑处理图像平滑的目的是为了消除噪声，主要处理方式有邻域平均法即通过提高信噪比，
9、取得较好的平滑效果；空间域低通滤波采用低通滤波的方法去除噪声；以及频域低通滤波法通过除去其高频分量就能去掉噪声，从而使图像得到平滑。311空间域平滑处理（一）邻域平均法邻域平均法是简单的空域处理方法。这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。邻域平均法的空域思想使得算法的思想简单、清晰；处理结果表明，邻域平均算法对抑制噪声是有效的。但是，随着邻域的增大，图像的模糊程度也愈加严重。为克服这一缺点，可以采用阈值法减少由于邻域平均所产生的模糊效应。（二）低通滤波法这种方法是一种频域处理法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分以及颗粒噪声代表图像信号的高频分量，而
10、大面积的背景区则代表图像信号的低频分量。用滤波的方法滤除其高频部分就能去掉噪声，使图像得到平滑。（三）多图像平均法如果一幅图像包含有加性噪声，这些噪声对于每个坐标点是不相关的，并且其平均值为零，在这种情况下就可能采用多图像平均法来达到去掉噪声的目的。多图像平均法是把一系列有噪声的图像迭加起来，然后再取平均值以达到平滑的目的。4以上这些方法在不同程度上增强了去噪效果，但也带来了运算复杂、适用面窄等缺点。因而我们在选择消除噪声方法时，必须综合考虑各种因素，选择最适合的平滑方法。312对深度视频进行帧内的时间平滑处理的算法的研究深度视频在在时间轴上内容和对应彩色视频相比，具有更多的不一致性。这种特点
11、直接导致了深度视频序列在时间方向比对应的彩色视频的相关性弱。深度视频在时间上的较弱相关性，通过采用时间平滑算法，来增强深度视频序列在时间上的一致性，并且保留深度视频序列中的运动部分。313深度视频预处理的算法总流程这里使用了一种深度视频预处理方法。该方法能在维持虚拟视点绘制性能的基础上，能节省深度视频编码的压缩效率。本方法主要主要分为三步。第一步，通过变换把彩色视频和深度视频的信息重组为信息的彩色视频序列和深度序列。新的序列中一帧中为原始序列中各帧中同一行像素按照时间关系组合而成。第二步，结合重组后的彩色视频，依次对重组后的深度序列的的每列进行平滑处理。第三步，把平滑处理后的序列再重建为深度序
12、列。由于深度视频序列在时间上内容的不一致而导致了较弱的相关性。因此，为了提高深度视频的编码效率，需要对深度视频在编码之前进行预处理，增强在其时间上的一致性。假设要预处理的深度视频序列为,MNKMKNDD，其对应彩色视频序列为,MNKMKNCC。其中，M、N和K分别为水平分辨率竖直分辨率和帧数。本文对视频的预处理总体流程如图31所示，具体分为如下三步深度视频变换,MNKMKNDD，彩色视频变换,MNKMKNCC。深度视频和彩色视频的变换方法完全一样。依次对,MKND中每帧每列的像素进行时间平滑处理，得到,MKND。在处理过程需要利用,MKNC中对应列的信息。深度视频做逆变换,MNKMKNDD。5
13、图31深度预处理总体流程32编码的实现在对深度视频进行预处理后对其进行编码，目前，国内外一些研究机构和高等院校仍在积极探索高精度、高效率的视频编码宏块模式快速选择算法，取得了很大的进展，提出了许多宏块模式快速选择算法。这些方法从不同的角度或不同的目的对视频编码问题进行了研究。基于JMVM的宏块模式选择情况，国内外研究针对降低宏块模式选择方法中的计算复杂度，提出了各种改进的算法。基于动态多阈值、多视点视频编码、H264的帧间宏块模式、虚拟视点合成算法、块匹配的运动估计等，有选择地对某个或某几个预测块模式进行搜索计算，从而达到降低计算复杂度的效果。四、研究的总体安排与进度12010年12月上旬20
14、10年12月下旬，查阅关于视频预处理的相关资料，翻译文献，完成开题报告；22010年12月下旬2011年2月中旬，通过继续深入阅读相关文献，进一步了解深度视频中各区域对虚拟视点视频图像绘制的影响，并完成对深度视频平滑处理方法的选择；32011年2月中旬2011年3月中旬，熟悉H264编码标准，完成对深度视频的编码工作；42011年3月中旬2011年4月初，通过实验，比较码流和虚拟视点的绘制的质量，进而衡量所设计的深度预处理方法进行评测；52011年4月初2011年4月底论文撰写。五、主要参考文献61汤秀丽,戴声奎,蔡灿辉多视点视频编码的研究进展J微计算机应用，20092毕厚杰新一代视频压缩编码
15、标准H264/AVCM北京人民邮电出版社,20053万玲,马兴数字图像处理的方法与应用JIT论坛，20104谢正光,包志华,徐晨,章国安,张士兵,杨永杰基于运动补偿的视频预处理算法J计算机工程,20095林贵旭H264/AVC视频编码码率控制技术研究D上海交通大学图像通信与信息处理研究所，20086谢正光,包志华，徐晨，章国安，张士兵，杨永杰视频编码预处理算法研究J光电子激光,20097杨海涛,常义林,霍俊彦,熊联欢,林四新应用于多视点视频编码的基于深度特征的图像区域分割与区域视差估计J光学学报，20088蒋刚毅,张云,郁梅基于相关性分析的多模式多视点视频编码J计算机学报,2007,30122
16、20522119ZHANGY,JIANGGY,YUM,ETALANAPPROACHTOMULTIMODALMULTIVIEWVIDEOCODINGAPROCEEDINGSOFINTERNATIONALCONFERENCEONSIGNALPROCESSINGCGUILIN200610SMOLICA,MUELLERK,ETALMULTIVIEWVIDEOPLUSDEPTHMVDFORMATFORADVANCED3DVIDEOSYSTEMSCSANJOSE,USAAPR,200711HOYS,LEEC,ETALDEPTHMAPGENERATIONANDVIRTUALVIEWSYNTHESISS25T
17、HMEETINGSHENZHEN,CN,2126OCTOBER,200712LUJB,CAIH,LOUJG,ETALANEPIPOLARGEOMETRYBASEDFASTDISPARITYESTIMATIONALGORITHMFORMULTIVIEWIMAGEANDVIDEOCODINGJIEEETRANSACTIONSONCIRCUITSANDSYSTEMFORVIDEOTECHNOLOGY,2007,17673775013KIMY,KIMJ,SOHNKFASTDISPARITYANDMOTIONESTIMATIONFORMULTIVIEWVIDEOCODINGJIEEETRANSACTIO
18、NSONCONSUMERELECTRONICS,2007,53271271914DINGLF,TSUNGPK,CHENWY,ETALFASTMOTIONESTIMATIONWITHINTERVIEWMOTIONVECTORPREDICTIONFORSTEREOANDMULTIVIEWVIDEOCODINGAINPROCEEDINGSOF2008IEEEINTERNATIONALCONFERENCEONACOUSTICS,SPEECHANDSIGNALPROCESSINGCLASVEGAS,NV,2008041373137678毕业设计文献综述电子信息科学与技术深度视频及视频预处理技术摘要多视点
19、视频具有任意切换视点的特点，但由于稀疏的相机序列无法获得各个角度的视点，这就需要利用深度图来合成虚拟视点。对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位。本文主要介绍了深度图的特性，深度视频预处理的几种方法。关键词多视点视频；深度图；预处理一、背景11多视点视频多视点视频MULTIVIEWVIDEO是一种新型的具有立体感和交互操作功能的视频14，它通过多个视点的视频数据满足用户从多个角度选择和操作视听对象，提供了场景漫游的交互能力。多视点视频信号是由一组平行、会聚或任意角度的相机阵列拍摄得到的视频信号。能提供拍摄场景不同角度的视频信息利，用其中的一个或多个视点信息
20、可以合成任意视点的信息，达到自由切换任意视点的目的。为了满足多视点视频达到自由切换任意视点的目的，使用户可以切换到原本场景中并不存在的视点，我们必须通过获取深度图来绘制产生虚拟视点。随着相机数目的增加，多视点视频的数据量也成倍增加5，同样，所需传输的深度信息量也增加。因此需要研究有效的深度图像压缩方法，以缓解带宽压力。系统的一个挑战就是研究实现一种高效的多路编码传输机制，从而对数据进行高效地压缩以便存储和传输视频序列。12深度图的特性深度图获取主要有两种方式1）通过深度相机获取；2）通过视差估计得到视差图，进而转换得到深度图。通过深度相机来获取深度图，由于价格等因素，现阶段无法商用化。因此，降
21、低深度相机的成本是这方面努力的主要方向。通过深度估计算法来得到深度图，目前仍然存在着计算量大、效果达不到应用要求等问题，因此，需要提出一个满足应用需求的深9度估计算法。另外，目前的深度估计算法仅适用于一维相机情况，因此，需要考虑不同的相机配置情况下，深度估计的问题。现阶段MPEG组织的主要目光就是集中在深度获取上。深度图的特性应该从两个方面来讨论（1）理论上深度图的特性；（2）现有深度图的特性。深度图与彩色图像相比具有纹理简单的特点。它只在对象边界处产生深度图值的跳变，而在对象内部以及背景部分保持平坦。对于相机固定的序列，背景的深度值应该保证不变。深度图的时空相关性要大于彩色图像的时空相关性。
22、因此，采用H264压缩标准压缩深度图和彩色图像时，深度图的压缩效率较高。深度图主要是用于绘制产生虚拟视点。不同的深度图区域对最终的绘制效果影响各异。其中，以深度图中边缘部分的影响最大67。所以深度压缩时应该保护深度边界的深度值。13深度图的研究现状及发展趋势在2007年以前，运动图像专家组（MOVINGPICTUREEXPERTSGROUP,MPEG组织主要研究视差信息，由于视差的局限性，深度信息开始被人们关注。并且现阶段是MPEG组织的主要研究方向。国外研究深度主要有GIST研究所，NAGOYA大学，PHILIPS公司等研究机构。国内如西安电子科技大学，清华大学，宁波大学以及华为等机构在研究
23、，并作出了不错的贡献。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。二、预处理技术的方法文献88提出了基于视觉特性的视频压缩预处理方法的研究，本文讨论了利用人眼的视觉特性，对视频进行处理优化后再进行正常的编码压缩传输。实验结果表明，本文采用的预处理算法在提高压缩比的同时可以有效地保证视频质量；在对原始视频进行相同程度压缩时，本文算法预处理后获得的；既频主观质量明显好于原始直接压缩。文献99提出了视频检测对象的图像预处理研究，本文主要针对视频检测对象的图像预处理常用技术，包括图像灰度化、图像灰度修正、图像滤波、图像锐化，并对各种图像处理技术的常用方法进行了介绍，给出了
24、实验结果并进行分析。文献1010提出了针对基于FPGA的视频图像预处理的算法研究，针对基于FPGA器件实现实时视频图像处理中原始视频数据与视频编码算法不兼容的问题，本文提出了一种离散缩放算法，通过它对原始图像进行预处理，能使图像缩放后仍具有自然分明的边界，达到较为理想的视觉效果，可以更好地通过FPGA器件进行后来的视频图像压缩。文献1111提出了基于运动补偿的视频预处理，针对预处理算法易在空域产生边缘模糊和在时域产生拖尾等图像扭曲现象，提出一种基于运动估计的时域滤波预处理算法。该方10法通过运动补偿技术将时域滤波映射到空域进行处理，有效地去除视频序列时域不相关的细节信息，避免空域模糊和时域拖尾
25、，达到降噪和提高编码效率的目的。实验结果表明，在同等视频质量PSNR下，该预处理算法较预处理前可降低编码码率1232，同等码率下视频序列的平均PSNR值比使用空域预处理方法高4DB9DB。三、深度视频在时间轴上进行平滑处理图像平滑的目的是为了消除噪声，主要处理方式有邻域平均法即通过提高信噪比，取得较好的平滑效果；空间域低通滤波采用低通滤波的方法去除噪声；以及频域低通滤波法通过除去其高频分量就能去掉噪声，从而使图像得到平滑。31空间域平滑处理311邻域平均法邻域平均法是简单的空域处理方法。这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。邻域平均法的空域思想使得算法的思想简单、清晰
26、；处理结果表明，邻域平均算法对抑制噪声是有效的。但是，随着邻域的增大，图像的模糊程度也愈加严重。为克服这一缺点，可以采用阈值法减少由于邻域平均所产生的模糊效应。312低通滤波法这种方法是一种频域处理法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分以及颗粒噪声代表图像信号的高频分量，而大面积的背景区则代表图像信号的低频分量。用滤波的方法滤除其高频部分就能去掉噪声，使图像得到平滑1213。313多图像平均法如果一幅图像包含有加性噪声，这些噪声对于每个坐标点是不相关的，并且其平均值为零，在这种情况下就可能采用多图像平均法来达到去掉噪声的目的。多图像平均法是把一系列有噪声的图像GJX，Y迭加起
27、来，然后再取平均值以达到平滑的目的1415。以上这些方法在不同程度上增强了去噪效果，但也带来了运算复杂、适用面窄等缺点。因而我们在选择消除噪声方法时，必须综合考虑各种因素，选择最适合的平滑方法。四、总结对象深度值是多视点视频的重要技术参量。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。本文介绍的几种深度视频预处理方法，以及深度多视点视频编码方法都有各自不同的优缺点。本人将在下一阶段的工作中针对各方法的优缺点，选择或设计一种适合本课题的实现方法，完成课题任务主要参考文献111彭宗举,郁梅,蒋刚毅,等一种多视点视频编码的宏块模式快速选择新算法J高技术通讯,2008,18
28、32532582毕厚杰新一代视频压缩编码标准H264/AVCM北京人民邮电出版社,20053朱仲杰,郁梅,蒋刚毅用于立体视频会议系统的立体对象分割和跟踪算法J计算机辅助设计与图形学报,200416316204张云多视点视频信号的先进编码研究D宁波大学,20075蒋刚毅,张云,郁梅基于相关性分析的多模式多视点视频编码J计算机学报,2007,3012220522116OHH,HOYSH264BASEDDEPTHMAPSEQUENCECODINGUSINGMOTIONINFORMATIONOFCORRESPONDINGTEXTUREVIDEOJLECTURENOTESINCOMPUTERSCIENC
29、EVOL4319,PP898,20067SMOLICA,MUELLERK,ETALMULTIVIEWVIDEOPLUSDEPTHMVDFORMATFORADVANCED3DVIDEOSYSTEMSCSANJOSE,USAAPR,20078于新波,赵辉,孙畅基于视觉特性的视频压缩预处理方法的研究J电气电子教学学报,2008,30148519朱茜,马震视频检测对象的图像预处理研究J福建电脑,200910侯佳欣,宋宇针对基于FPGA的视频图像预处理算法研究J200810710811谢正光,包志华,徐晨,章国安,张士兵,杨永杰基于运动补偿的视频预处理算法J计算机工程2009,351922222312D
30、OULAMISAD,DOULAMISND,NTALIANISKS,ETALUNSUPERVISEDSEMANTICOBJECTSEGMENTATIONOFSTEREOSCOPICVIDEOSEQUENCESCPROCOFIEEEINTCONFONINTELLIGENCE,INFORMATIONANDSYSTEMSWASHINGTONDC,USAIEEEPRESS,199952753313FANLIANGZHONG,YUMEI,JIANGGANGYIRESEARCHONREALIZATIONMETHODOFINTERPOLATIONBASEDONRAYSPACEINFVVCCSCAS,20042
31、4634914JENSKLAPPSTEIN,TOBIVAUDREY,CLEMENSRABEL,ANDREASWEDEL,REINHARDKLETTEMOVINGOBJECTSEGMENTATIONUSINGOPTICALFLOWANDDEPTHINFORMATIONJLECTURENOTESINCOMPUTERSCIENCEINCLUDINGSUBSERIESLECTURENOTESINARTIFICIALINTELLIGENCEANDLECTURENOTESINBIOINFORMATICS,200961162315MASAYUKITANIMOTO,TOSHIAKIFUJII,KAZUYOSH
32、ISUZUKIIMPROVEMENTOFDEPTHMAPESTIMATIONANDVIEWSYNTHESISSISO/IECJTC1/SC29/WG11M15090,ANTALYA,12TURKEY,200813本科毕业设计（20届）深度视频预处理方法的设计和实现14摘要【摘要】自由视点视频系统是当前先进视觉媒体模式。深度视频是多视点视频系统中一个非常重要的辅助信息。获取深度视频的主要目的是为了绘制产生虚拟视点。通过深度估计或者通过深度相机得到的深度视频在时间相关性比对应的彩色视频差，因而不能获得良好的压缩性能。为了提高深度视频的编码效率，本文主要提出了一种深度视频的预处理方法。该方法在维持虚
33、拟视点绘制性能的基础上，能提高深度视频序列在时间上的相关性，可以大大地提高编码压缩效率。【关键词】自由视点视频；深度视频；深度估计；预处理；虚拟视点绘制。15ABSTRACT【ABSTRACT】FREEVIEWPOINTVIDEOSYSTEMISTHEADVANCEDMODEOFVISUALMEDIADEPTHVIDEOISAVERYIMPORTANTSUPPLEMENTARYINFORMATIONINTHEMULTIVIEWVIDEOSYSTEMTHEMAINPURPOSEOFCAPTURINGTHEDEPTHVIDEOISTORENDERTHEVIRTUALVIEWDEPTHVIDEOWH
34、ICHISESTIMATEDBYDEPTHESTIMATIONORCAPTUREDBYTHEDEPTHCAMERAISWORSETHANTHECOLORVIDEOINTEMPORALCORRELATIONTHEREFORE,ITCANNOTACHIEVEGOODCOMPRESSIONPERFORMANCEINORDERTOIMPROVETHECODINGEFFICIENCYOFTHEDEPTHVIDEO,THISPAPERPRESENTSADEPTHVIDEOPREPROCESSINGMETHODTHEMETHODCANGREATLYIMPROVETHECODINGEFFICIENCYANDT
35、HETEMORALCOREELATIONWHILEMAINTAINSBETTERVIRTUALVIEWRENDERINGPERFORMANCE【KEYWORDS】FREEVIEWPOINTVIDEODEPTHVIDEODEPTHESTIMATIONPREPROCESSINGALGORITHMVIRTUALVIEWPOINTRENDERING16目录1引言1811论文的研究背景1812论文研究的意义1813深度视频的研究现状1914论文的主要研究内容2015各章节安排202深度视频介绍2121YUV格式简介2122深度图的获取2123虚拟视点绘制研究22231MVD结构介绍22232虚拟视点绘制
36、基础原理以及基本流程23233基于深度图像的虚拟视点绘制2424深度图的特性分析25241理论上深度图特性25242现有深度图特性26243帧差图分析26244最优宏块模式选择分析28245相关系数分析293深度视频平滑处理的方法研究3031空间域平滑处理30311邻域平均法30312低通滤波法31313多图像平均法3132时间域平滑处理3233深度图序列时间空间转换334深度视频预处理3341深度视频预处理算法总体流程3342深度视频预处理具体步骤3417421深度视频的变换算法34422时间平滑算法36423深度视频的逆变换算法385实验结果及结论4051实验结果4052实验总结43参考文
37、献43致谢错误未定义书签。附录45181引言11论文的研究背景随着多媒体技术的不断进步和宽带网络技术的不断发展，人们对多媒体应用的期盼也就越来越高了，传统的二维视频已经无法满足人们日益增长的观看需求。自由视点视频1FVV,FREEVIEWPOINTVIDEO系统是当前先进视觉的媒体模式。FVV系统2能够让人们通过自由选择视点欣赏场景体验到一种身临其境的感觉。所以，这种媒体模式在很多娱乐、交通、教育培训、银行、医疗和文化遗产保护等领域有着非常广阔的应用前景和巨大的市场价值。一般情况下，自由视点视频系统从逻辑结构上可以分为服务器端和用户端。在服务器端，利用多个相机对同一个场景进行采集得到多路的视频
38、信号，完成多视点视频的压缩编码。多视点视频编码35（MULTIVIEWVIDEOCODINGMVC）是新一代多媒体的技术核心之一，也是现阶段多媒体领域的研究热点之一。压缩后的多视点视频码流通过网络传送到用户端用于自由视频的显示。多视点视频处理和通信系统主要包括多视点视频的采集以及其对应深度信息的获取、编码、网络传输、解码、绘制和显示等部分。由于多视点视频增加了图像中景物的深度信息，在自然场景的表征上就更加具真实感，且可以自由切换其任意视点，具有广泛的应用前景，如应用于任意视点电视,沉浸式电视会议以及视频监视系统等多种正在兴起的媒体业务。因此，当前视频研究领域掀起了多视点视频技术研究热潮，其中有
39、多视点视频的捕获、多视点视频的压缩编码、多视点视频传输以及显示等。由于多视点视频信号是单通道视频信号在空间方面的扩展，随着相机数目的增加，多视点视频信号的数据量也成倍的增加。将视点视频运用到实际系统之中，仅仅依靠网络带宽的提高和存储容量的提升是不太可能的，所以必须对多视点视频信息进行压缩编码6，来缓解其带来的存储和传输压力。况且为了满足多视点视频达到自由切换任意视点的目的，使用户可以切换到原本场景中并不存在的视点，我们必须利用获取深度图来绘制产生虚拟视点。但是通过深度估计或者通过深度相机得到的深度视频在时间相关性比对应的彩色视频差，因此不能获得良好的压缩性能。本课题主要研究深度视频预处理方法并
40、且将原始视频与处理后的深度视频进行编码和虚拟视点绘制，比较该方法对虚拟视点绘制和编码码率的影响。12论文研究的意义下一代多媒体的应用方向将朝着网络化、交互性、真实感的方向发展，多视点视频编码技术作为FTVFREEVIEWPOINTTELEVISION、3DTV78THREEDIMENSIONALTELEVISON等三维视频应用中一个核心技术之一，针对将出现的交互式多媒体应用而提出的，它将解决3D交互视频的压缩、传输和存储等相关的一系列的问题。19基于MVD的FVV系统中，深度视频信号一般由服务器端传送给用户端，进而降低用户端的接受设备的生产成本。由于用户端的设备一般都不具备有很强的计算能力，所
41、以深度不适合在用户端通过深度估计9产生。即深度视频需要在服务端采集而得到。深度信息可以通过深度相机采集或者通过深度估计程序来获得。由于深度相机价格比较昂贵，目前的深度视频序列一般都是通过深度估计而得到。在MVD信号中，从理论上讲，深度视频只需要普通彩色视频的1020的码流就可以获得较高的图像质量。由于通过深度估计或者通过深度相机而得到的深度视频比对应的彩色视频在时间相关性上比较差，因此不能获得很好的压缩性能。很难达到理论上的压缩效果。本文提出的深度视频的预处理算法能在基本维持虚拟视点绘制性能的基础上，能提高深度视频序列在时间上的相关性,可以大大地提高编码压缩效率。13深度视频的研究现状多视点视
42、频由多个摄像机从不同的角度进行拍摄而获得，在显示得时候，可以根据观看者所处的位置显示相应角度的图像，当观看者的头部发生移动时，看到内容也会出现相应的变化，从而得到一种“环视”的效果。为得到自然平滑的运动视差的效果，双眼距离需要提供超过10幅的画面内容。因此，需要使用非常稠密的摄像机来获取多视点视频序列。但是这样系统太复杂，实际很难实现。在实际的应用中，为了让用户在观看得过程中得到不同视点间的切换平滑，我们使用稍微稀疏的摄像机阵列拍摄该视点的视频图像，然后利用深度信息和两个相邻摄像机上的视频在两个真实视点间快速生成一系列虚拟视点。目前，两大国际标准化组织ISO的MPEG和ITU的VCEG组成的联
43、合视频专家组JVT,JOINTVIDEOTEAM制定的FVV标准草案里采用多视点彩色视频和深度视频MVD,MULTIVIEWVIDEOPLUSDEPTH来表示3D场景和实现FVV系统。基于MVD的FVV系统可以采用基于深度的绘制技术把有限个实际视点视频扩展到无限个虚拟视点，实现视点间的平滑过渡。在基于MVD的FVV系统中，由于深度多视点数据的数据量和相机的数量正比。与单通道视频信号相比，MVD有着非常大的数据量。因而，多视点视频的压缩编码是一项关键技术，直接影响到FVV信号能否进入到实际应用领域。在基于MVD的FVV系统中，深度视频信号一般由服务器端传送给用户端，进而降低用户端的接受设备的生产
44、成本。因为，用户端的设备一般不具备很强的计算能力，深度不适合在用户端通过深度估计产生。即深度视频需要在服务端采集得到。深度信息可以通过深度相机采集或者通过深度估计程序来获得。由于深度相机价格昂贵，目前深度视频序列一般是通过深度估计而得到。在MVD信号中，从理论上讲，深度视频只需要普通彩色视频的1020的码流就可以获得较高的图像质量。但是，通过深度估计或者通过深度相机而得到的深度视频在时间相关性比对应彩色视频差，因而不能获得很好的压缩性能。很难达到理论上的压缩效果，因此深度视频需要考虑时间上相关性的影响。本课题研究的是关于深度视频预处理的设计与实现。基于深度图的虚拟视点绘20制技术也成为当前研究
45、的热点问题。在2007年以前，MPEG主要研究视差信息，由于视差存在的局限性，深度信息开始被人们关注，现阶段是MPEG组织的主要研究方向。国外研究深度主要有NAGOYA大学、GIST研究所、PHILIPS公司等研究机构。国内如清华大学、西安电子科技大学、宁波大学以及华为等一些机构在研究，还做出了不错的贡献。基于深度信息在虚拟视点生成上的重要地位，有关深度信息的研究必将是热门领域。14论文的主要研究内容1、深度视频是多视点视频系统中非常重要的辅助信息，了解深度图的特性及深度信号的获取。深度图可以通过深度相机或深度估计算法计算得到，现阶段主要通过深度估计来获取深度信息。由于通过深度估计得到的深度视
46、频在时间相关性上比对应的彩色视频差，因而不能获得较好的压缩性能，所以本文提出了一种深度视频预处理的方法。在自由视点视频系统中，深度信息被传输到电视终端用以辅助任意角度虚拟视点图像的生成探讨。本文研究了虚拟视点绘制的基础原理及基本流程以及用深度的虚拟视点绘制技术绘制了虚拟的视点，并且得到相关的实验结果。2、对深度视频进行预处理。通过变换把彩色视频和深度视频的信息重组为新的彩色视频序列和深度序列。新的序列中一帧中为原始序列中各帧中同一行像素按照时间顺序组合而成。结合重组后的彩色视频，依次对重组后的深度序列的每列像素进行平滑处理。平滑处理后再重建为深度序列。3、完成原始深度视频和预处理后深度视频的编
47、码实验，对实验结果进行分析，通过对比较码流和虚拟视点绘制的质量来衡量所采用的预处理进行评测。文中列出了利用原始深度视频和预处理后的深度视频绘制的虚拟视点相对原始视点PSNR，以及两种对比情况。可看出，Y分量的PSNR的上升在004007之间。在深度视频压缩效率方面，本文所提出的算法能节约4163562的码率。15各章节安排本文主要介绍了深度视频的预处理算法对深度视频的压缩效率和虚拟视点的绘制影响。在本章，我们已经对深度视频有了一定的了解，那么在第二章，我们将介绍深度视频的特性，首先介绍了YUV格式，然后怎样获取深度图，第三部分是虚拟视点的绘制介绍，最后从3个角度对深度图的特性进行分析研究，说明
48、为什么要对其进行预处理。第三章，我们将介绍几种深度视频平滑处理的方法，并比较它们各自的优劣。第四章，详细的说明本设计所采用的预处理方法，分步骤的解释该方法。第五章，分析采用上一章提出的预处理方法后得出的数据，说明该方法的有效性，并得出结论。212深度视频介绍深度视频是多视点视频系统中非常重要的辅助信息，了解深度图的特性及深度信号的获取，深度图可以通过深度相机进行获取，也可以通过深度估计算法计算得到，现阶段主要通过深度估计算法来获取深度信息。在自由视点视频系统中，深度信息被传输到电视终端用以辅助任意角度虚拟视点图像的生成探讨。本文研究了虚拟视点绘制的基础原理及基本流程以及用深度的虚拟视点绘制技术
49、绘制了虚拟的视点，并且得到相关的实验结果。21YUV格式简介本文所用彩色视频序列，深度视频序均为YUV格式。其中的Y,U,V几个字母不是英文单词的组合词，“Y”表示明亮度，也就是灰阶值；而“U”和“V”表示的则是色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是透过RGB输入信号来进行建立的，其方法是将RGB信号的一些特定部分叠加到一起。“色度”则事定义了颜色的两个方面即色调与饱和度，分别用RC和BC来表示。RC反映的是RGB输入信号红色部分与RGB信号亮度值之间的差异，BC反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。YUV主要是用来优化彩色视频信号的传输。与RGB视频信号传输相比，它最大的优点在于只需占用极少的频宽（RGB要求三个独立的视频信号同时传输）。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量没有U、V分量的话，这样表示的图像就是黑白灰度图像。彩色电视采用了YUV空间是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。YUV的主要采样格式有RBCYC420、RBCYC422、RBCYC411和RBCYC444。这里的比例的意义为例如RBCYC411，其含义
