1、 本 科 毕 业 论 文 基于 H.264/AVC 的视频抗误差传输新技术 New Error-Resilient Techniques of H.264/AVC Video 姓 名： 学 院：软件学院 系：软件工程 专 业：软件工程 年 级： 学 号： 校内指导教师： 校外指导教师： 副教授 年 月 摘 要 H.264 是一种高性能的视频编解码技术 ， 因为其采用了 更小 的块模式、 多帧参考、 FMO等技术，相比以往编解码 ，能够更好的增加压缩效率和提高图像质量，并且在网络环境差的时候也能更好的抗误差 。在传输过程中，网络信号不好将导致解码器端接收到的文件并不完整，根据这个不完整的压缩文件
2、 解码出来的图像是有黑块的，基于当前不完整图像，对误码块进行修复，这就是错误隐藏。 H.264 将图像分为 I 帧、 P帧、 B 帧及 SI 帧、 SP 帧、SB 帧。 本文 首先研究了 H.264 中 P帧中 的 错误隐藏算法 （ EC） ， 然后 对国外的一些 时域隐藏算法做了些研究， 将论文大致归为 为以下几类， BMA 的改进、运动矢量的估计、修复顺序的改正 、分割模式的改变和空间时域相结合的方法 。在研究了他们的优缺点后 ， 针对其中相应的优缺点，在 H.264 的 基础上 提出了 新的思路 （ Priority+EBMA 排序 ） ：首先修复的宏块会给后面要修复的宏块，处于边界的宏
3、块优先级最高，然后再根据周围宏块的正确宏块和修复宏块的个数订立优先级。 首先 修复优先级最高的宏块 ，在同等优先级的情况下，采取EBMA 值越小则越先修复 。 选取了 forman 和 flower 的 cif 图像进行测试，在 大量 P帧丢失宏块的 情况 下， PSNR 几乎每帧都能得到大的提高，说明 相对于原始的 H.264 的错误隐藏的算法， psnr 增加了很多，说明该算法比 H.264 本身的算法的效果要好 。 关键词： H.264； 错误隐藏 ； P帧；时域 修复 Abstract H.264 is a high-performance video codec technology
4、, because it uses new technology such as a smaller block mode, multi-frame reference and FMO. Compared with the previous codec, it increases compression efficiency and image quality.And in not good network environment quality can be better. In the transmission process, poor network signal will lead
5、to the decoder termination to receive incomplete documents.Then according to the incomplete encoded file there will be black blocks in the decoder. The repair of block error is error concealment. H.264 image is divided into I-frame, P frame, B frames, SI frames, SP frames and SB frame. The paper fir
6、st studied the P-frame in H.264 Error Concealment Algorithm (EC), and then introduce the algorithms in this domain. the thesis would be broadly classified as the following categories, BMA improvement,motion vector estimate, repair order correction, segmentation and spatial patterns combining the tim
7、e-domain method. In the study of their advantages and disadvantages, based on H.264 we find a new way (Priority + EBMA order): First of all, will repair the macroblocks of the edge of the image.Then conceal the highest priority, and the priority is relationed with the macroblock which is correct and
8、 concealed around the MacroBlock. Second, we conceal the macroblock of the highest priority,and in the same priority,we conceal the marcoblock of the smallest value of EBMA. I use the forman and the flower image which is cif type to test. The marcoblock of P-frame in them all loss in a large number.
9、The answer is:PSNR in almost every frame has a big improvement compared with the original method of the error concealment of H.264 algorithm, psnr increase a lot show the method (Priority + EBMA order) is better than the original method in H.264. Keywords: H.264; error concealment; P frame 目录 第一章 引言
10、 .1 1.1 研究背景 . 1 1.2 研究现状 . 1 1.3 本文研究方向 . 2 1.4 研究的思路 . 2 1.5 论文的组织结构 . 2 第二章 H.264 中的错误隐藏技术 .4 2.1 错误隐藏技术介绍 . 4 2.2 参考平台介绍 . 4 2.3 JM15.0 的解码器端的整体流程 . 5 2.4 H.264 中 JM15.0 错误隐藏的方法 . 6 2.4.1 第一步： 确定错误宏块簇 . 6 2.4.2 第二步： 宏块簇内的修复 . 6 2.4.3 第三步： 获得 mv 数组 . 7 2.4.4 第四步： 选择最佳 mv. 8 第三章 错误隐藏的当前研究成果 . 10 3
11、.1 BMA 改进 .10 3.2 空间预测和时域相结合 .10 3.3 运动矢量的估计 . 11 3.4 修复顺序的改善 . 11 3.5 分割模式的改变 .12 第四章 Priority+EBMA 排序 . 13 4.1 算法 .13 4.1.1 算法基本思想 .13 4.1.2 优先级规则 .13 4.1.3 ECOrder.14 4.2 算法的流程 .15 4.3 模拟网络丢包环境 .16 4.4 编码方式及序列 .16 4.5 修 复效果衡量参数 PSNR .17 4.6 实验结果 .17 第五章 结论 . 22 致谢语 . 23 参考文献 . 24 Contents Chapter
12、 One Introduction .1 1.1 Background Research . 1 1.2 Research Status . 1 1.3 The Direction Of Research In This Paper . 2 1.4 Research Ideas . 2 1.5 Structure Of The Thesis . 2 Chapter Two Error Concealment In H.264.4 2.1 Introduction of Error Concealment . 4 2.2 Introduction of Platform . 4 2.3 The
13、Overall process of JM15.0 . 5 2.4 Error Concealment of JM15.0 . 6 2.4.1Step1： Determine culsters of Error Marcoblock. 6 2.4.2Step2： Determine Error Macroblock. 6 2.4.3Step3： Get Mv Array. 7 2.4.4Step4： Determine Best Mv. 8 Chapter Three Others Research of Error Concealment . 10 3.1 BMA Improvement .
14、10 3.2 Spatial And Time mixed .10 3.3 Estimation of MV Vector . 11 3.4 Sequence of EC . 11 3.5 Partition Mode .12 Chapter Four Order of Priority+EBMA. 13 4.1 Algorithm .13 4.1.1 Basic Idea of Algorithm.13 4.1.2 Priority Rules.13 4.1.3 ECOrder Rules.14 4.2 Process .15 4.3 Simulated Packet Loss .16 4.
15、4 Paramter of Encoder and YUV .16 4.5 PSNR: Measure The Effect of Repair .17 4.6 Results of Experiment .17 Chapter Five Conclusion. 22 Thanks . .23 References . 24 基于 H.264/AVC 的视频抗误差传输新技术 1 第一章 引言 1.1 研究背景 随着 HDTV 的兴起， H.264 这个规范频频出现在 人们 眼前， HD-DVD 和蓝光 DVD 均计划采用这一标准进行节目制作。而且自 2005 年下半年以来，无论是 NVIDIA
16、 还是 ATI 都把支持 H.264 的硬 件解码加速作为自己最值得夸耀的视频技术 . H.264 使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，该优点非常适合用户量大、接入网 /骨干网带宽相对有限的状况。在同等的画质下， H.264 比上一代编码标准 MPEG2 平均节约 64的传输码流，而比 MPEG4 ASP 要平均节约 39的传输码流。全球很多 IPTV 业务运营商都将 H.264 作为编解码格式的标准，包括比利时电信 ,荷兰 KPN，泰国 ADC 电信，中国电信等等。根据中国电信上海研究院的实际测试结果表明：国内普遍采用的 MPEG-4 编码技术在 3M
17、bps 的带宽下尚达不到标 清的图像质量，而 H.264 编码技术可以在 2M 带宽下提供要求的图像效果。因而运营商希望引入更先进的 H.264 编码 技 术，在有限的带宽资源下进一步提高图像质量。 由于信号传输干扰、噪声和信道拥塞等原因 ,导致信道不可避免会有误码或丢包等现象发生 ,对于 H.264 编码视频流来说 ,可能会造成 帧中宏块 的丢失 ,从而不仅影响当前帧的质量 ,而且由于采用帧间编码 ,这种影响还会连续传递到以后的解码帧 ,从而导致整个 视频序列质量的严重恶化。在这种情况下 ,为了能够得到质量可以接受的视频图像 ,在解码端采用错误掩盖技术是一种行之有效的方 法 。 误码隐藏技术
18、是在检测到误码后对 图像 通过一定的方法 进行修复， 尽量削弱对人的视觉影响。 误码隐藏技术分为时域误码掩盖和空域误码掩盖。 本文主要研究的是时域误码掩盖，也就是 P 帧的修复。 时域误码掩盖是基于运动补偿的时间预测，它利用受损块的运动信息对图像进行恢复。即使是采用帧内编码模式的图像块，也允许传输相应的运动矢量，其目的就是为了有效恢复受损图像块。 1.2 研究现状 对于 H.264 错误隐藏技术 （ Error Concealment12） 的研究，国内外都有大量的优秀论第一章 引言 2 文，可将论文大致归为为以下几类， BMA 的改进、运动矢量的估计、修复顺序的改正、分割模式的改变和空间时域
19、相结合的方法， BMA 的改进主要有 EBMA，双向 EBMA 等等，运动矢量估计主要有中值，全值估计等等，修复顺序方面主要 有 sobel 算子，方差等等，分割模式上有直接划分成 16 个 4 4，然后根据指定这 16 个块的修复顺序的，也有通过上下左右 4 个宏块的分割模式来进行预测本宏块分割模式的，空间时域相结合的算法往往比较复杂，比如，可以 先 根据 时域进行修复，然后采用空间预测方式将修复所得的图像的边缘划出，然后再根据空间预测方式对该宏块进行预测， 或者空间和时域同 时修复，选择其中较优 的像素 点等等 。具体的算法可见第三章 。 1.3 本文研究方向 在分析了前人所提出的种种算法
20、，并分析了优缺点后， 发现 H.264 的两边向中间进行修复的方式忽略了宏块修复后的效果对于其后将修复的宏块的影响，而其他研究者对于修复顺序的并没有很好的算法，使得修复效果得到很好的改善，在实现了 sobel 算子，总方差等论文的前提下，决定提出一种新的思路，以来改善修复效果。 1.4 研究的思路 对于研究，大致分为 以下几个阶段 1） 首先分析现有 H.264 JM 最新代码 的算法和思路 2） 对于国内外的研究论文 提出的新的方法进行一定的分析 ，并发现其中修复顺序方面的不足，决定从此方面入手，着重研究。 3） 实现修复顺序相关的算法，发现其与 H.264 相比并没有能够得到很好的改善 4
21、） 提出自己的相关想法，构建出自己的理论模型 5） 在 JM15.1 上实现自己的想法 6） 分析算法所得的结果，将其与 H.264 进行相比，发现其结果得到了较好的改善，因此论证此算法对于 H.264 能够提高修复效果 7） 得出结论 1.5 论文的组织结构 与 研究思路的先后相对应，按照研究的先后顺序，该篇论文的组织结构如图 1-1 所示 基于 H.264/AVC 的视频抗误差传输新技术 3 H . 2 6 4 J M 错 误 隐 藏 算 法 的 研 究对 于 已 有 错 误 隐 藏 算 法 的 研 究提 出 自 己 的 错 误 隐 藏 算 法 并 实 证第 二 章第 三 章第 四 章研 究 思 路 方 向 的 总 体 分 析 第 一 章对 于 研 究 的 总 结 第 五 章图 1-1 论文组织结构
