1、本科毕业设计 (论文 )文献综述 电子信息 工程 视频编码中的码率控制技术综述 摘要： 本文在简要介绍了视频编码的基本概念及其相关标准后，重点介绍了视频编码中的码率控制技术。在第二部分码率控制章节重点介绍了四个经典码率控制算法： MPEG-2 的 TM5，H.263 的 TMN8， MPEG-4 的 VM8 以及 H.264 的 JVT 系列码率控制算法。现有的码率控制算法都有各自的优缺点，文章 2.3 节总结了一些学者针对原有算法中的不足提出的改进算法。这些改进算法主要集中在帧的复杂度描述、基于编码器缓冲区状况、基于信道带宽及基于帧的位置等方 面的改进。文章最后是对结合人体生理特性的码率控制
2、算法的展望。 关键词： 编码；编码标准；码率控制；帧复杂度；缓冲区；人眼特性。 1、视频及其编码技术 数字图像首次的出现是在报纸业。早在 20 世纪 20 年代，科学家利用 Bartlane 电缆图片传输系统，把大西洋两边传送一幅图片的时间从一个多星期减少到了 3 个小时，为了用电缆传输图片，首先要进行图像编码 1。 视频编码其实是为了消除各种各样的冗余如：空间冗余、时间冗余、视觉冗余、信息熵冗余等，使图片能在有限的带宽中传输并使图片的清晰度尽可能的高。图像编码的基本原理是减 少图像的多余信息或是利用人眼的视觉特性进行编码。 目前主要的编码标准有 MPEG-1， MPEG-2， MPEG-4，
3、 H.261， H.263， H.264 等。（一） MPEG-1标准是有损压缩， 1992 年成为国际标准。 MPEG-1 使用了 DCT 变换、量化等技术。传输率为1.5Mbits/sec，但是 MPEG-1 的压缩比还不够大且清晰度不够高。（二） MPEG-2 是在 MPEG-1基础上发展起来的，现在广泛应用在数字电视机机顶盒中，传输速率在 3-10Mbit/秒。 MPEG-2优于以前的标准的地方是减少了图像在信道内传输的频带 。（三） MPEG-4 在 1999 年发布，在 2000 年成为国际标准。 MPEG-4 主要应用于无线通信、电视电话、电子游戏等领域。（四）H.263 标准是
4、为适应低码率通信而设计出来的，主要用在电视会议等业务上。（五） H.264是最新、最有前途的视频压缩标准，在 2003 年成为国际标准。 H.264 采用混合编码结构，很好的提高了压缩比。 H.264 有产生码率低，图像质量高等优点。 H.264 比 H.263 约一半的码率，但是在码率控制方面比其他标准困难。 2、码率控制 2.1、码率控制简介 码率控制实际上就是通过合理的算法 使编码器对视频图像最后产生的码率进行控制。图像编码产生的码率越高，图像的质量就越好，但是实际信道的带宽是有限的，不能满足过大的比特流，因此需要控制码率。码率控制是视频编码中的关键技术，考虑到的问题是既要使图像最终的码
5、率能在信道中传输，又要使图片的质量不降低。 常用的码率控制方式有两种，一种是 CBR（固态比特率）和一种是 VBR（动态比特率）。CBR 的带宽和码率都是固定不变的，而且实现方式相对比较简单。 VBR 在码率控制上很好的控制了 I 帧的数量，增强了这种算法的灵活性，但是这种算法对码率控制的准确性要求很高。 2.2、经典码率控制算法 在码率控制算法中经典的算法有 MPEG-2 的 TM5， H.263的 TMN8 以及 MPEG-4的 VM8 以及H.264 的 JVT 系列码率控制算法 2四种 。 （ 1） TM5 码率控制算法 3。 TM5 算法 使用在 MPEG-2 标准中，该算法总共分为
6、三步：首先对帧层进行目标比特分配；接着，进行宏块级的码率控制；最后，使用了自适应量化。 TM5的缺陷是当视频信号不是典型序列的时候，帧层比特分配会有一些偏差，同帧中的编码质量会有不太均匀的情况。 （ 2） TMN8 码率控制算法 4。 TMN8 算法 使用在 H.263 标准中，该算法总共分为两步：首先 对帧层分配目标比特 ；其次，在宏块级使用自适应量化。 TMN8 的优点是估计出比特数较为准确，但是它对 I 帧的设计太简单了。 VM8和 TM5 不一样的地方是它没有在宏块级使用码率分配，因此这种算法不能够用在需要宏块级码率控制的场合。 （ 3） VM8 码率控制算法 5。 VM8 算法 使用
7、在 MPEG-4 标准中。该算法总共分为三步：首先统计出已经编码好了的帧的平均量化参数；其次，利用线性回归方法计算出当前帧的模型参数；最后，使用二次 R-Q 模型估计出帧的量化参数。这种算法使用了前帧估计后帧的方法，在前后帧的差别很大的时候就会出现较大误差，使图像质量下降。 （ 4） H.264 采用 JVT2 G012 提案 6中的算法。其步骤为：首先，使用流量阻塞等模型计算出当前帧的目标比特数；其次，将剩下的比特数平均分配给还未编码的单元；然后，使用前面一帧中 MAD 值预测当前帧的 MAD 值。最后，率失真优化。这种算法的不足在于最后两个步骤出现了一个奇怪的循环：在对当前帧的预测时需要的
8、量化系数在后一步率失真优化中才能得到，因此使码率控制的难度加大。 2.3、码率控制改进方案 针对码率控制原有的模型中表现出来的种种不足，许多学者 纷纷提出自己的改进方案。目的是为了使实际码率更接近目标码率，使图像质量和码率之间有很好的平衡。 一些学者从帧层复杂度的角度实现目标比特的分配，进而实现码率控制的优化。这种方法的关键是找到能够精准的描述帧的复杂度的指标。因此选取何种指标来描述帧的复杂度是众多学者争论的一个方面。采用不同的指标描述帧的复杂度，会影响到分配给帧的目标码率，采用更为合理的指标作为帧的复杂度的描述，可以使目标码率分配更加合理的同时不会使图像质量降低。文献 7将帧的运动量大小作为
9、其复杂度的描述，对运动量大的帧分配较多比特，对运动量小的 帧分配较少比特。文献 8用 P 帧亮度分量的 MAD 比率和 YUV 三分量的均值相对变化的和来表示图像复杂度。文献 9用 P 帧亮度分量的 MAD 比率来表示图像复杂度来分配码率。文献 10从缓冲状况角度引入图像复杂度，根据缓冲区的状况确定分配每一帧的目标比特数，避免了对复杂图像分配过多的码率。 另有一些学者结合帧的复杂度，从编码客观条件如缓冲区的状况、带宽状况角度对目标码率进行优化分配。文献 11就是利用各帧的复杂度和目标缓冲区状况作为比特分配的参考条件。文献 12改变了传统目标缓冲的级别来设置平滑 PSNR 值波动 ，然后对目标码
10、率进行分配。文献 13定义了信道带宽宽裕度来表示实际带宽和编码复杂度的关系，并且使用这个量来控制目标码率的分配。这些算法考虑到了编码时缓冲区由于前面帧码率过高而溢出的情况和信道带宽的实时状况，及时对编码做出调整，使码率控制更加灵活。 一些算法是根据帧的位置不同来实现码率控制的优化。文献 14提出了一种基于 P 帧所在位置进行比特分配的算法。文献 15提出了一种针对帧的空间位置及其复杂度对目标比特进行分配的算法。这些算法的控制精度都很高，并且充分利用了视频序列的空间相关性。 文献 16根据人 眼视觉特性与帧差，并结合图像的相对复杂度，对各帧分配比特数。使用这种算法产生的实际码率更加接近目标码率，
11、并且使各帧的峰值信噪比的波动减小。文献 17提出了一种基于反馈原理的码率控制算法 RCBF。这种算法避免了因为缓冲区状况而导致各帧目标比特数与帧复杂度不同情况，减少了各帧质量的波动。 从上述的改进方案中看，在码率控制时，如何使实际码率和目标码率更加匹配并保证图像质量不发生明显变化是众多学者在改进算法时所要考虑的问题。从帧的复杂度考虑，很好的区分了各帧对码率的需求高低，合理的分配了目标码率，但是使用何种 帧复杂度描述方式可以使码率控制更加精准，效果更加突出，未有学者能够给出最终的定论。然而结合编码时的缓冲区状态和带宽状况对码率控制进行调整，能够很好的对编码外部条件做出反应，但是上述算法中没有结合
12、更多的外部条件使算法的适应性更强。 3、总结与展望 MPEG-1， MPEG-2， H.264/AVC 等视频编码标准，都只对最后的码流的语法语义做了定义，而对编码的算法没有什么要求，因此对码率控制的算法的优化有很大空间和灵活性。现今码率算法比原有的算法在码率控制上有了很大的提高，但在控制码率后，对图像质量的提高并没有做出 优化。结合人体生物特性（人眼视觉特性等）进行码率控制将成为视频编码的趋势之一，码率控制的优化可以结合人眼的视觉盲区，对一些不影响人的主观感受的信息进行有选择性的去除或减少码率。在码率控制的同时，增强人眼比较敏感的图像信息，可以使视频更加的真实，更加迎合人的主观感受，使观看者
13、有身临其境的感觉。 参考文献 1Rafael C.Gonzalez， Richard E. Woods 著；阮秋琦，阮宇智等译 .数字图像处理 M .第二版 .电子工业出版社， 2007， 8:1-4. 2崔子冠 . H.264 率失真优 化和码率控制算法的研究与改进 D. 南京航空航天大学，2008， 1. 3MPEG-2 Video Test Model 5， ISO/IEC /JTC1/SC29/WG11, MPEG93/257, 1993. 4Video Codec. Test Model Near-Term, TMN8. ITU-T/SG16/VCEG/Q15 A59,Portlan
14、d, USA, 1997. 5Video Group， Text of ISO/IEC 14496-2 MPEG-4 Video VM-Version 8.0， ISO/IEC JTC1/SC29/WG11 Coding of Moving Pictures and Associated Audio MPEG97/W1796, Stochholm， Sweden， July 1997. 6Li Zheng- guo, Pan Feng, Lim Keng- pang, et al1 Adap tive base unitlayer rate control for JVT, JVT2 G012
15、 A 1 In: Proceedings of 7 the Meeting, Pattay II C , Thailand, 2003. 7刘峰，缪陆军，徐浩 .基于编码复杂度的帧层和宏块层自适应码流控制方法 J. 南京邮电大学学报， 2006， 12， 26（ 6）： 22-26. 8段厚勇，汪同庆 .一种 H_264 帧层码率控制的改进算法 J. 计算机应用， 2009， 4， 29(4)：1008-1010. 9刘启，石志强 .一种 H_264 帧级码率控制改进算法 J.计算机仿真， 2008， 5， 25（ 5）：105-107. 10黄莉，傅志中 .基于图 象复杂度的 H.264 码
16、率控制算法改进研究 C.2006 年中国西部青年通信学术会议论文集 .339-402. 11周芦明，刘春生，罗亮 .基于 H1264 /AVC 的帧层码率控制算法 J. 中国图象图形学报，2009， 9， 14（ 9）： 1813-1818. 12缪广忠，林其伟，饶琴 . 一种简单有效的帧层码率控制策略 J.微计算机应用， 2009，9， 30（ 9）： 34-38. 13兰天，顾学迈，郭庆，王振永 . 一种新的 H. 264 自适应帧层码率控制算法 J.华南理工大学学报 (自然科学版 )， 2008， 9， 36（ 9）： 100-106. 14史久根，许林，张超 . 一种场景自适应的 H. 264 帧层码率控制算法 J.计算机应用，2010， 5， 27（ 5）： 1968-1969. 15郭红英，蔡坚勇，涂钦，林潇，吴怡 .一种面向 H.264 标准的帧层码率控制算法改进 J.福建电脑， 2009，（ 12） :13-14. 16郑巧燕，郁梅，彭宗举，邵枫，李福翠，蒋刚毅 . 一种结合人眼视觉特性的 H. 264 /AVC码率控制算法 J.光电子激光， 2011， 3， 22（ 3）： 440-445.
