IPTV_QoE测试指标概述.doc

1、IPTV QoE 的测试主要包括两个指标，准确的频道切换时间 (I-Frame Join Latency)计算和主客观的视频质量的评定。本文着重介绍了视频质量评定指标 MDI，MOS_V 和 PEVQ 的定义和计算方法，最后对 Ixia 端到端 QoE 测试方案进行了总结。 1 引言IPTV 的未来发展目前是业界关注的焦点话题。据 MRG 市场研究公司的统计，全球IPTV 用户将由 2004 年的 200 万增加至 2010 年的 2000 万，预计全球 IPTV 市场20052010 年的复合增长率为 102%。在国内，IPTV 产业仍然处于试验阶段，中国电信、中国网通在各地积极开展 IPT

2、V 试验，并在部分地区投入商用。所以对 IPTV 设备和网络的性能评估在部署前后的测试就显得非常重要。QoE 是 Quality of Experience 的简称，是从普通用户体验的角度评定设备或网络的性能，而不是采用业界通常使用的各种专业指标，比如时延、丢包率和抖动等。由于其良好的结果直观性，并容易被非专业人士理解，所以 QoE 的各种指标得到了广泛认可和应用。2 IPTV QoE 测试指标介绍目前，国内外已经有很多设备厂家提供 IPTV 系统平台和设备，业界公认 IPTV 业务包含两种基本业务：TV 直播和 VoD 点播。TV 直播采用的 Multicast 技术（见图 1）。图 1 T

3、V 直播示意VoD 点播采用的是 Unicast 技术（见图 2）。图 2 VoD 点播示意从用户 QoE 角度来看，IPTV 相关测试主要关心两个方面，即频道切换时间和视频质量评定。（1）频道切换时间（Channel Change time or Channel Zapping Time）：通常意义的频道切换时间等于 Join Latency + CSD，但是这种评定方式是不准确的。最为精确的频道切换时间为 I-Frame Join Latency。因为只有当从用户端发出观看某一频道的请求到收到 I Frame 时，才表示频道加入成功并有视频流到用户端。（2）视频质量评定主要有 3 个指标：

4、MDI（RFC 4445，Media Deliver Index），MOS_V（Mean Opinion Score for Video）和视频质量的全参考质量评定指标PEVQ(Perceptual Evaluation of Video Quality)。在介绍相关指标之前，首先简单说明影响视频质量的特性：视频内容（视频片源本身或编码器造成的）和网络传输特性所造成的损伤。网络传输特性往往归纳为 3 个指标：延迟，抖动和丢包；和特定码流类型有关的可以归纳为两个指标：码流类型和码流速率。延迟：在视频传输应用中，恒定的延迟表现为视频观看时间的推迟。为了避免网络抖动而产生视频播放效果恶化，网络节点和

5、视频解码器往往需要对视频流进行缓冲。实验数据表明，视频播放延迟不影响视频观看的质量。抖动：抖动产生有多种原因：视频解码器/服务器性能变化，网络线路出现拥挤，网络设备性能变化都可以导致视频流的抖动变化。观测视频流的抖动变化可以提前发现视频传输质量恶化的趋势。丢包：丢包对视频播放质量有直接的影响。试验表明，无论视频丢包的类型（I ， B，P 帧），在没有适当的视频解码补偿或者丢包重传机制下，视频播放质量都会出现不同程度的下降。码流类型：不同的码流类型由于压缩算法的不同，视频的质量也有些不同，目前认为 H.264 的压缩效率最高， MPEG4-2 次之，MPEG2 较差。码流速率：在相同的码流类型下

6、，码流速率越高，视频质量越好。3 频道切换时间相关指标定义和频道切换时间相关的指标还有多个，比如离开频道的时间，切换时两个频道之间的间隔时间和重叠时间等，图 3 表示了各个指标之间的关系。图 3 频道切换时间相关指标定义与之间的关系4 视频质量评定指标介绍4.1 MDI 介绍MDI 是 2006 年 4 月正式发布的 RFC 4445 规范，对 IP 视频流的传输质量标识为：DF：MLR 。（1）Delay Factor（延迟因素，简称 DF）：该数值表明被 测试视频流的延迟和抖动状况。DF 的单位是毫秒（ms）。DF 将视频流抖动的变化换算为对视频传输和解码设备缓冲的需求。被测试视频流抖动越

7、大，DF 值越大。在采样周期中，DF 首先计算在测量点每个 IP 视频数据包到达时间变化。然后与预期的视频流速度对比得出。采样周期默认为1s。DF 的数值在每次周期完成后更新。与一般的二、三层抖动（InterArrival Time）计算相比，DF 指标是专门针对媒体流的，他的计算因子是媒体流速率，而不是一般的物理传输速率。因此它可以很好地被用来评估视频的传输和播放质量。（2）Media Loss Rate（媒体丢包速率，简称 MLR）：MLR 的单位是每秒的媒体数据包丢失数量。该数值表明被测试视频的传输丢包速率。由于视频信息的数据包丢失将直接影响视频播放质量，理想情况下的 IP 视频流传输要

8、求 MLR 的数值为零。因为具体的视频播放设备对丢包可以通过视频解码中进行补偿或者丢包重传，在实际测试中 MLR 的阈值可以相应调整。MLR=媒体数据包丢失总数/采样周期，默认采样周期为 1s。MPEG-2 TS 数据包格式是指有效的 MPEG 数据包（不包括填充 MPEG Frame）。由于 MDI 指标具有下面的特点，并且是正式的 RFC 标准，所以被标准评测机构、运营商和 IPTV 设备制造商普遍认可，是目前应用最广泛的视频质量评定指标之一。扩展性好，方便评估上百个 Channel，上千个用户的视频流质量。直接表现出和视频质量有关的网络问题。不关心上层传输的媒体流类型，与编码类型无关。适

9、合实时的视频流质量评估。4.2 MOS_V 介绍MOS_V 是客观的视频质量评定指标（Objective Assessment Factor）。该指标目前是 ITU FOCUS GROUP on IPTV 推荐的重要 QoE 指标。提到 MOS_V，不能不提的是另外两个重要的指标 VSPQ 和 VSTQ。VSPQ(Video Service Picture Quality) 是一种和编码类型相关的主观视频质量计算方法，计分范围从0100。VSPQ 根据编码类型码流速率经过复杂的理论计算处理得到初始值，该视频流经过网络传送造成的损伤后（丢包和抖动）得到最终的 VSPQ 值。VSTQ(Video

10、Service Transmission Quality)是一种和编码类型无关、评定 RTP 通道支持可靠视频流质量能力、计分范围也是 0100 的视频质量评定方法。MOS_V（Mean Opinion Score for Video）是将图像质量划分为 05 的等级来评定图像质量的好坏，是以用户感知的角度来评价视频质量。评定视频质量时综合考虑丢包率，抖动和编码类型等多种因素。其是以 VSPQ 因子为基础得到的视频评定指标。图 4是 IXIA 公司在实验室得到 VSxQ 与 MOS_V 之间关系的例子。图 4 IXIA 在实验室得到的 VSxQ 与 MOS-V 之间关系由于 MOS_V 指标的

11、直观性，并且可以同时评估成千上万条视频流的质量，所以特别适合运营商在网络建设验收测试时使用。4.3 PEVQ 介绍视频质量的评定方法可以分为 3 类：全参考型（Full Reference），部分参考型（Reduced Reference）和无参考型（ No Reference）。 MDI 和 MOS_V 都属于无参考型的视频质量评定方式。PEVQ(Perceptual Evaluation of Video Quality)有知觉的视频质量评定，是一种全参考型（Full Reference）、插入式（Intrusive）的视频质量评定方法。它采用类似语音质量测试中大家熟悉的 MOS（Mean

12、 Opinion Score）计量方式评定视频流通过网络之后，根据多个关键性能指标 KPIs（Key Performance Indicators）结合人的视觉系统来测试和验证视频流的质量。图 5 是全参考型视频质量评定方法的图示。图 5 全参考型视频质量评定方法对于视频内容本身影响的视频质量，主要采用下面 3 个指标：Blockiness：由于低码流速率和片源的低质量造成的损伤；Bluriness：由于片源编码压缩降低了分辨率而造成的损伤；Jerkiness：由于网络损伤和采样频率偏大造成的损伤。对于网络传输对视频质量的影响，主要有 4 个方面：Frame freeze/skips：由于视频

13、数据（ MPEG Frame）丢失造成的损伤；Noise：由于传输和随机噪声造成的损伤；Loss：由于严重的数据包丢失而造成视频质量的下降；Jitter：由于数据包发送和接收顺序不一致而引起错序或错误而造成的损伤。图 6 清楚地显示了上述各个因素指标对视频质量直观影响的对比。图 6 各因素对视频质量的直观影响对比IXIA PEVQ 评定视频质量和其他评定方式相比，最显著优势就是可以把视频内容和网络传输结合起来，全面评估视频流的质量。主要输出指标有：PEVQ MOS：该指标对视频质量从 15 进行打分，1 为最差，5 为最好。该指标最为清楚直观，最容易被大家理解和接受，是 PEVQ 中最重要指标

14、，其他指标都是为该指标服务的；Distortion Indicators：该指标从亮度（Luminance）、色度（Chrominance）和时间域（Temporal Domain）等方面深入分析各种因素对视频流的影响；Delay：接收端视频流数据帧和源视频帧的时间差；Brightness：接收端视频流和源视频流的亮度值；Contrast：接收端视频流数据帧和源视频帧的顺序比较值；PSNR：Peak Signal-to-Noise Ratio，用于分析接收端视频流的质量， PSNR 分为 PSNR Y，PSNR Cb 和 PSNR Cr；PSNR Y 主要评估 YCbCr 视频颜色图谱的黑和白

15、（Black and White）部分； PSNR Cb 主要评估 YCbCr 视频颜色图谱的蓝色（Chroma blue）部分；PSNR Cr 主要评估 YCbCr 视频颜色图谱的红色（Chroma red）部分；Jerkiness：主要在接收端评估视频流传输时由于受到较低的抽样频率（Down-Sampling）、编码过程的分辨率精度处理（Coding Processes）和受到干扰的传输（Perturbed Transmissions）的影响的平滑度（Smoothness）指标；Blur：主要评估视频图像轮廓清晰度和立体空间精度的失真指标；Blockiness：通常是由于较低的码流速率和粗

16、糙的视频图像量子化指标造成的损伤；Frame Skips 和 Freezes：通常是网络过载引起的视频停滞或丢包等损伤；Effective Frame Rate：由于视频流在采样时会造成一些信息的丢失，该指标主要就是用定量的方法评估有效的视频包发送速率；Temporal and Spacial Activity：根据 ITU-T P.910 的建议，该指标主要采用定量的方法计算视频内容中 Activity 和 Movement 的数量。由于 PEVQ 采用的是帧对帧(Frame by Frame)的视频比较，所以适合于研究机构对视频流质量做深入分析时使用。5 Ixia 端到端 QoE 建议值和

17、测试方案总结由于网络的复杂性，有些 QoE 指标在国际上并没有统一规定，建议的频道切换时间、MDI 阈值和 MOS_V 只能通过相应标准的参考或者通过实验室测试得到。因为网络结构设计、视频压缩标准、视频码率、并发视频流数目、机顶盒缓冲大小等都影响相应指标设定。根据 IXIA 的经验：Frame Join Latency 值应在 2s 以内；MDI：DF 的最大值应该避免和平均值偏离超过 50%。比如，平均 MDI：DF 为100ms。当 MDI：DF 出现最大值为 200ms 时候，这意味着视频流会出现明显的抖动变化。如果 MDI：DF Minimum 和 MDI：DF Maximum 在 5

18、0ms 和 150ms 范围内，认为视频质量是好的。IXIA MDI：DF 建议值为 1050ms；MDI：MLR 值为 0 是最好的，也就是不允许有丢包，但是极少量的丢包可以通过STB 的 Buffer 来补偿，IXIA 建议 MDI：MLR = 4 个媒体包/s；MOS_V的最低值在 3.6 以上，最好为 4.0 以上。如果低于 3.6，则不能被接受，高于 4.0，则认为比较好的视频质量；PEVQ MOS 值最低为 3.6 以上，低于 3.6，则不能接受。IXIA 目前的 IPTV QoE 测试特点包括：频道切换时间测试，I-Frame Join Latency 测试；基于每个视频流质量测

19、试：MDI 和 MOS_V；视频质量的 Full-Reference 分析：PEVQ；视频质量的主观与客观结合的评定方式：在得到上述指标的同时，线速实时地将视频流输出到终端上；MPEG2/MPEG4/H.264/AVC-1 Over MPEG2 TS Over RTP/UDP；MPEG2/MPEG4/H.264/AVC-1 Over RTP/UDP；Microsoft IPTV(MSTV)标准的频道切换时间测试和 A，D，V 服务器的仿真与测试。6 结束语做为全球 IP 测试方案的领导者，Ixia 继续提供领先的 IPTV QoE 端到端测试方案，覆盖机顶盒(STB) ， Cable Modem，IP DSLAM，组播交换机和路由器，视频服务器以及IPTV 承载网的完整测试方案。