面向多视点视频的虚拟视点插值方法研究【毕业论文】.doc

1、 本科毕业设计 （ 20 届） 面向多视点视频的虚拟视点插值方法研究 所在学院 专业班级 电子信息工程 学生姓名 学号 指导教师 职称 完成日期 年 月 摘 要 多视点视频是近几年视频处理领域研究的热点方向， 其多视点视频巨大的数据量是使其广泛应用的需要考虑的关键问题，为此 ，致力于减少视频数据量的多视点视频编码技术将是未来视频通信领域中的一项重要技术 , 本文主要研究多视点视频编码的虚拟视点合成技术，其目的是用来生成在视点切换过程中平滑过渡的虚拟图像，并减少大量的数据量。本文是在基于图像绘制的虚拟视点合成技术基础上进行研究，其现在关键性技术是基于深度信息的视点合成算法。 现有的基于深度信息的

2、视点合成算法 合成虚拟视点的图像会产生空洞，这是由于目标图像和原图像的像素点互相遮挡而造成的 ，本文就是在传统的基于深度图信息的视点合成算法上进行优化，通过加入视点双向插值算法以填补传统算法所合 成图像的空洞问题，合成高质量的虚拟视点图像，同时达到减少视频数据量的目的。最后通过实验程序进行仿真，得到比较理想的实验结果，验证了该优化算法的有效性。 关键词： 多视点视频编码；虚拟视点合成；图像空洞填补；双向插值 Abstract In recent years, multi-view video is a hot research field of video processing directi

3、on, its huge amount of data is the key issues to consider that to widely used, so that , the technology of multi-view video coding which to reduce the amount of video data will be an important technology in the future. This paper studies he virtual view synthesis, which is used to generate the smoot

4、h virtual image and reduce the large amount of data. This paper research based on the Depth image-based rendering . The virtual-view image that generated based on the depth image-based rendering will produce the holes, which is caused by the pixels of target image blocked the pixels of source image.

5、 This paper aim to optimize the synthesis algorithms to resolve this problem, a bi-directional interpolation is used to fills the holes, which synthesis of high-quality images and reducing the amount of video data. The experimental results show that the improved algorithm can obtain satisfactory vir

6、tual view images. Key Words: Multi-view video coding; Virtual view synthesis; Holes fill; Bi-directional interpolation; 目 录 1 引言 .1 2 多视点视频技术介绍 .2 2.1 多视点视频概述 .2 2.2 多视点视频研究内容简介 .3 2.2.1 多视点视频系统框架 .3 2.2.2 数据获取 .3 2.2.3 编码与解码 .4 2.2.4 传输与分发 .4 2.2.5 表现与交互 .4 3 多视点视频编码技术 .5 3.1 多视点视频编码技术 .5 3.2 多视点视频

7、编码关键技术研究 .5 3.2.1 视差估计 .5 3.2.2 预测编码 .6 3.2.2 中间视图合成技术 .7 4 多视点视频合成技术中视点插值方法 .8 4.1 多视点视频合成方法研究现状 .8 4.2 视点插值技术的简介 .8 4.3 基于视差信息的视点插值算法 .9 4.4 基于深度信息的视点插值算法 .10 5 基于深度信息的虚拟视点插值优化算法 .12 6 实验验证与结果 .13 7 结论与展望 .15 致 谢 . 错误 !未定义书签。 参考文献 .16 附录 1 算法源程序 .18 附录 2 科研论文 .21 1 引言 最近几年，计算机技术和信号处理技术迅猛发展，人们开始希望自

8、己能够根据自己的喜好去和视听对象进行互动，而不是完全被动的接受和欣赏视听节目 ，多视点视频的出现就是致力于人们的这个愿望。其通过在场景中放置多台摄像机，记录下每个需要的视点数据，由用户自由选择所需要观看的视点，使用户可以漫游在场景 1。多视点视频将未来的数字媒体领域有着非常广泛的应用前景。 由于要用到数量众多的摄像 机，导致多视点视频的数据量会非常巨大。为此，多视点视频编码技术将是未来视频通信领域中的一项关键技术，其中比较重要的技术有视差估计、预测编码和虚拟视点图像合成技术，其主要致力于在减少多视点视频巨大数据量、合成高质量的视点图像。 多视点图像序列包含同一个场景内多个视点的图像 ,各 视点

9、图像之间存在很高的相关性 ,利用这种相关性来进行数据编码、图像合成等可以达到减少数据量的目的 。 本文所研究的虚拟视点图像合成技术就是利用视点之间图像的相关性，通过有限的参考视点图像来合成所需任意视点的图像，非常有效的减少了视频的数据量，同 时不影响图像的效果。其中常用的视点合成关键技术是基于深度信息的视点插值算法，但这种算法所产生的合成图像会产生图像空洞等问题，本文在此算法基础上进行算法优化，加入视点双向插值算法，这种优化后的虚拟视点算法可以很好的解决图像空洞问题，显著的提高了所合成图像的质量，达到理想的效果。 文章的第二部分介绍了多视点视频基本内容，简要介绍了多视点视频主要研究内容。第三部

10、分介绍了多视点视频编码技术的研究现状。第四部分介绍了多视点视频中插值算法的基本内容，并分析了现有算法的优缺点。第五部分分析了一种基于图像深度信息的视点合成 优化算法。通过实验仿真，可以达到理想的效果。 2 多视点视频技术介绍 2.1 多视点视频概述 随着宽带网络的普及和相关技术的发展，未来多媒体将会更加网络化、智能化和真实化。视频是数据量最大、包含信息量最大的一类的数字媒体，当前视频媒体的研究与应用热点是流媒体及其相关应用，但这仅解决了视频的网络化应用的问题，视频媒体的应用方式还是以二维视频播放为主，随着宽带网络的普及与终端处理能力的大幅度提高，人们已不满足于传统的流媒体技术，而是希望能够充分

11、参与到与媒体的互动中，从而实现媒体人性化、个性化，是人们享受 掌控视听娱乐的乐趣。多视点视频的出现使人们的愿望得以实现，其所涵盖的立体视频与多视点视频播放是未来交互式多媒体应用的主要内容。 多视点视频是未来数字媒体的发展方向，是未来数字信息时代生活的基础和决定性技术。国际标准化组织 MPEG已经充分认识多视点视频这一新型数字媒体的重要性与应用前景，这在着手制定开始制定这方面的标准。 2001年 12月第 58次MPEG会议提出了制定多视点视频标准的必要性 (MPEG2001/M7779),2002年 5月的MPEG会议上正式发出了 3DAV的需求文档 (ISO/IEC JTC1/SC29/WG

12、11 N4795) 2。在多视点视频这一新的视频媒体研究与应用领域里，各个国家和科研团体都是处于刚刚起步的阶段，如果能充分利用各种相关资源优势，集中力量做好这方面的相关研究和应用开发，将会为未来科技的发展做出巨大的贡献，所以，多视点视频的相关研究都具有非常重要的现实意义。 多视点视频是对一个场景，由多个摄像机从不同位置拍摄得到的一组视频信号，不同的摄像机拍摄角度不同，这些不同角度的场景图像都会送到用户终端，用户在使用时可以根据需要选择不同的视角进行观看。多视点视频中包含丰富的三维信息，是新一代 交互式多媒体应用的基础技术。与传统单视点视频相比，多视点视频能够更生动地再现自然场景，给人身临其境的

13、感觉。多视点视频将在教育培训、数字娱乐、医疗等交互式多媒体应用领域具有广泛的应用前景。 2.2 多视点视频研究内容简介 多视点视频研究内容包括全景视频、交互立体视频、交互多视点视频及 3D视频对象四个方面： 全景视频是在给定视点采集各个方向的视频，都能够从所采集的视频中重构出任何视角的图像，其是二维图像平面到球面或者柱面图像平面的扩展。交互立体视频为用户提供三维的立体视频体验和感受。交互多视点视频的场景由多部摄像机拍摄，可以由多种摄像机的配置，通过摄像机标定与场景参数信息使用户漫游在场景中。三维视频对象是通过多视点摄像机拍摄，从多视点视频数据流中构建而成。 2.2.1 多视点视频系统框架 多视

14、点视频系统框架结构如下图： 图 2-1 多视点视频系统框架结构 2.2.2 数据获取 多视点视频的特征之一是同一时刻针对场景或者对象的多角度视频采样，摄像机参数是后续视频分析与编码、合成的基础，研究主要包括摄像机参数获取与描述和多路视频信号的同步。多视点视频空间摄像机配置类型主要有平行视图、汇聚视图和发散视图三种。所 要获取的摄像机参数主要有外部参数、内部参数和运动参数，其中外部参数包括摄像机的位置和方向等，内部参数包括摄像机焦距和纵横比等，运动参数包括摄像机旋转、平移、变焦等。有助于三维图像的几何标定。 2.2.3 编码与解码 高效的多视点视频编解码是三维视频研究的关键技术，多视点视频编码数

15、据时必须利用各视点之间的图像的相关性大幅度降低用于传输和存储的码流数据，与传统视频码流相比，多视点视频编码研究包括双目三维立体视频编码和多视点视频编码研究，双目视频之间关系非常紧密，但是传统的运动补偿和视差补偿的效率都不是很高，目前 研究方向是通过多运动模型的运动补偿方法来进行视差补偿，从而极大的减少冗余信息，提高压缩比。多视点视频编码研究主题主要是如何减少多视点视频巨大的数据量。 2.2.4 传输与分发 在具有交互的多视点视频传输体系中，由于用户能够自主交互的选择场景视点，即传输到用户终端的视频数据可以是多视点视频数据中的一个视点或者多个视点，多视点视频的数据传输研究将集中在系统层。用户终端

16、的缓存是多视点视频实现交互功能的基础结构，多视点间的合成需要缓存相关视点视频数据，研究方向需要结合多视点之间的空间约束实现终端缓存管理机制。 2.2.5 表现与交互 多视点视频的交互表现主要包括与编码端的交互、解码端与完整数据的交互、解码端与部分数据的交互、任意视点视频合成交互、多视点视频操作及交互通道控制协议等共六方面的内容。 3 多视点视频编码技术 3.1 多视点视频编码技术 多视点视频数据由多个摄像机在不同角度同时拍摄所得，这些不同角度的景物图像都会送到用户终端。用户在使用时可以根据需要选择不同的视角进行观看。由于多视点视频的数据量随着相机数目的增加也成倍的增加 3，其数据量要远大于单视

17、点视频，编码技术能否应用关键取决于其压缩效率。多视点视频编 码技术的研究具有非常重大的意义。目前，多视点视频编码标准主要有基于 MPEG标准的多视点视频编码、基于 H.264/AVC 标准的多视点压缩编码和多视点分布式视频编码三种。多视点视频编码体系结构图 4如下： 图 3-1 多视点视频编码体系结构图 3.2 多视点视频编码关键技术研究 多视点视频图像序列包含同一个场景内多个视点的图像，各个图像之间存在很高的相关性，如何利用这种相关性来进行压缩编码，减少多视点视频的数据量。多视点视频编码关键技术主要有利用视差估计消除多个视点间空间冗余技术、预测编码技术以及虚拟 视点图像的合成技术。 3.2.

18、1 视差估计 视差估计就是寻找同一空间场景中在不同视点中的图像的对应点间的关系 ,视差估计越精确 ,所得到的预测图像就越接近真实图像 ,图像失真就越小 ,可以提高编码压缩率。对于从两个不同的视点分别采集的同一个三维物体的图像 , 对应于三维物体上的同一个点，首先找到成像平面上两个相互对应的点 ,则这两点间的距离就是视差 ,三维物体上的对应点到这两点的连线的距离就是深度。 视差估计算法主要分为两类 :基于块匹配的视差估计方法和基于特征的视差估计方法 ,块匹配的视差估计方法由于其算法简单 ,便于实现 ,被广泛使用 5。其方法是把其中一幅图像分成多个相同尺寸的块 ,假设各个块内部的视差都相同 ,然后

19、在另一图像中按一定的匹配算法寻找其对应的最优块 ,由匹配块和当前块的相对位置得出视差矢量 6。 视差是由摄像机几何和物体表面的连续性约束的 ,这些约束如果明智的使用 ,则在视差估计中是非常有益的 ,一些常用的约束条件为 :极线约束条件、方向性约束条件、同一帧内视差矢量存在的相关性和相邻对应块的视差矢量存在的相关性。 3.2.2 预测编码 多视点视频比传统的单通道视频系统的数据量成倍增加 ,因此必须对数据进行高效地压缩以便存储 和传输视频图像数据。图 3-2(a)为各视频序列同时联播的编码预测结构 7,各路视频独立进行编码 ,该编码方案由于没有考虑视点间的相关性 ,因此编码效率低。 图 3-2(b)在此基础上进行了改进 ,利用各个图像之间的相关性消除不同视点间的冗余 ,以提高编码效率。首先将多路视频图像序列进行分组 ,对每组分别进行预测编码 8。图 3-2(b)将五个视点的视频序列分为一组 ,中间视点采用通常的单通道视频编码方法 ,其余的视频序列除了按通常的单通道视频编码外 ,同时还利用中间视点图像作为参考 ,进行视差估计。 (a)联播预测 编码结构 (b)改进后预测编码结构 图 3-2 预测编码结构比较