YUV色彩空间详解.doc

1、YUV 是指亮度参量和色度参量分开表示的像素格式，而这样分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。YUV 是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种具体的格式。转载一篇对 yuv 格式解释的比较清楚地文章，也可以直接参考微软的那篇文章。对于 YUV 格式，比较原始的讲解是 MPEG-2 VIDEO 部分的解释，当然后来微软有一个比较经典的解释，中文的大多是翻译这篇文章的。文章来源：http:/ 格式解析 1（播放器project2 ）根据板卡 api 设计实现 yuv420 格式的视频播放器打开*.mp4;*.264 类型的文件，实现其

2、播放。使用的视频格式是 YUV420 格式YUV 格式通常有两大类：打包（packed）格式和平面（planar）格式。前者将 YUV 分量存放在同一个数组中，通常是几个相邻的像素组成一个宏像素（macro-pixel） ；而后者使用三个数组分开存放 YUV 三个分量，就像是一个三维平面一样。表 2.3 中的 YUY2 到 Y211 都是打包格式，而 IF09 到 YVU9 都是平面格式。 （注意：在介绍各种具体格式时，YUV 各分量都会带有下标，如 Y0、U0、V0 表示第一个像素的 YUV 分量，Y1、U1 、V1 表示第二个像素的YUV 分量，以此类推。 ）MEDIASUBTYPE_YU

3、Y2 YUY2 格式，以 4:2:2 方式打包 MEDIASUBTYPE_YUYV YUYV 格式（实际格式与 YUY2 相同） MEDIASUBTYPE_YVYU YVYU 格式，以 4:2:2 方式打包 MEDIASUBTYPE_UYVY UYVY 格式，以 4:2:2 方式打包 MEDIASUBTYPE_AYUV 带 Alpha 通道的 4:4:4 YUV 格式 MEDIASUBTYPE_Y41P Y41P 格式，以 4:1:1 方式打包 MEDIASUBTYPE_Y411 Y411 格式（实际格式与 Y41P 相同）MEDIASUBTYPE_Y211 Y211 格式 MEDIASUBT

4、YPE_IF09 IF09 格式 MEDIASUBTYPE_IYUV IYUV 格式 MEDIASUBTYPE_YV12 YV12 格式MEDIASUBTYPE_YVU9 YVU9 格式表 2.3YUV 采样YUV 的优点之一是，色度频道的采样率可比 Y 频道低，同时不会明显降低视觉质量。有一种表示法可用来描述 U 和 V 与 Y 的采样频率比例，这个表示法称为 A:B:C 表示法： 4:4:4 表示色度频道没有下采样。 4:2:2 表示 2:1 的水平下采样，没有垂直下采样。对于每两个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。 4:2:0 表示 2:1 的水平下采样，2:1 的

5、垂直下采样。 4:1:1 表示 4:1 的水平下采样，没有垂直下采样。对于每个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。与其他格式相比，4:1:1 采样不太常用，本文不对其进行详细讨论。 图 1 显示了 4:4:4 图片中使用的采样网格。灯光样例用叉来表示，色度样例则用圈表示。图 1. YUV 4:4:4 样例位置 4:2:2 采样的这种主要形式在 ITU-R Recommendation BT.601 中进行了定义。图 2 显示了此标准定义的采样网格。 图 2. YUV 4:2:2 样例位置 4:2:0 采样有两种常见的变化形式。其中一种形式用于 MPEG-2 视频，另一种形式

6、用于 MPEG-1 以及 ITU-T recommendations H.261 和 H.263。图 3 显示了 MPEG-1 方案中使用的采样网格，图 4 显示了 MPEG-2 方案中使用的采样网格。 图 3. YUV 4:2:0 样例位置（MPEG-1 方案） 图 4. YUV 4:2:0 样例位置（MPEG-2 方案） 与 MPEG-1 方案相比，在 MPEG-2 方案与为 4:2:2 和 4:4:4 格式定义的采样网格之间进行转换更简单一些。因此，在 Windows 中首选 MPEG-2 方案，应该考虑将其作为 4:2:0 格式的默认转换方案。 表面定义本节讲述推荐用于视频呈现的 8

7、位 YUV 格式。这些格式可以分为几个类别： 4:4:4 格式，每像素 32 位 4:2:2 格式，每像素 16 位 4:2:0 格式，每像素 16 位 4:2:0 格式，每像素 12 位 首先，您应该理解下列概念，这样才能理解接下来的内容： 表面原点。对于本文讲述的 YUV 格式，原点 (0,0) 总是位于表面的左上角。 跨距。表面的跨距，有时也称为间距，指的是表面的宽度，以字节数表示。对于一个表面原点位于左上角的表面来说，跨距总是正数。 对齐。表面的对齐是根据图形显示驱动程序的不同而定的。表面始终应该 DWORD 对齐，就是说，表面中的各个行肯定都是从 32 位 (DWORD) 边界开始的

8、。对齐可以大于 32 位，但具体取决于硬件的需求。 打包格式与平面格式。YUV 格式可以分为打包 格式和平面 格式。在打包格式中，Y、 U 和 V 组件存储在一个数组中。像素被组织到了一些巨像素组中，巨像素组的布局取决于格式。在平面格式中，Y、U 和 V 组件作为三个单独的平面进行存储。 4:4:4 格式，每像素 32 位 推荐一个 4:4:4 格式，FOURCC 码为 AYUV。这是一个打包格式，其中每个像素都被编码为四个连续字节，其组织顺序如下所示。 图 5. AYUV 内存布局 标记了 A 的字节包含 alpha 的值。 4:2:2 格式，每像素 16 位 支持两个 4:2:2 格式，F

9、OURCC 码如下： YUY2 UYVY 两个都是打包格式，其中每个巨像素都是编码为四个连续字节的两个像素。这样会使得色度水平下采样乘以系数 2。 YUY2 在 YUY2 格式中，数据可被视为一个不带正负号的 char 值组成的数组，其中第一个字节包含第一个 Y 样例，第二个字节包含第一个 U (Cb) 样例，第三个字节包含第二个 Y 样例，第四个字节包含第一个 V (Cr) 样例，如图 6 所示。 图 6. YUY2 内存布局 如果该图像被看作由两个 little-endian WORD 值组成的数组，则第一个 WORD 在最低有效位 (LSB) 中包含 Y0，在最高有效位 (MSB) 中包

10、含 U。第二个 WORD 在 LSB 中包含 Y1，在 MSB 中包含 V。 YUY2 是用于 Microsoft DirectX Video Acceleration (DirectX VA) 的首选 4:2:2 像素格式。预期它会成为支持 4:2:2 视频的 DirectX VA 加速器的中期要求。 UYVY 此格式与 YUY2 相同，只是字节顺序是与之相反的 就是说，色度字节和灯光字节是翻转的（图 7） 。如果该图像被看作由两个 little-endian WORD 值组成的数组，则第一个 WORD 在 LSB 中包含 U，在 MSB 中包含 Y0，第二个 WORD 在 LSB 中包含

11、V，在 MSB 中包含 Y1。 图 7. UYVY 内存布局 4:2:0 格式，每像素 16 位 推荐两个 4:2:0 每像素 16 位格式，FOURCC 码如下： IMC1 IMC3 两个 FOURCC 码都是平面格式。色度频道在水平方向和垂直方向上都要以系数 2 来进行再次采样。 IMC1 所有 Y 样例都会作为不带正负号的 char 值组成的数组首先显示在内存中。后面跟着所有 V (Cr) 样例，然后是所有 U (Cb) 样例。V 和 U 平面与 Y 平面具有相同的跨距，从而生成如图 8 所示的内存的未使用区域。 图 8. IMC1 内存布局 IMC3 此格式与 IMC1 相同，只是 U

12、 和 V 平面进行了交换： 图 9. IMC3 内存布局 4:2:0 格式，每像素 12 位 推荐四个 4:2:0 每像素 12 位格式，FOURCC 码如下： IMC2 IMC4 YV12 NV12 在所有这些格式中，色度频道在水平方向和垂直方向上都要以系数 2 来进行再次采样。 IMC2 此格式与 IMC1 相同，只是 V (Cr) 和 U (Cb) 行在半跨距边界处进行了交错。换句话说，就是色度区域中的每个完整跨距行都以一行 V 样例开始，然后是一行在下一个半跨距边界处开始的 U 样例（图 10） 。此布局与 IMC1 相比，能够更加高效地利用地址空间。它的色度地址空间缩小了一半，因此整

13、体地址空间缩小了 25%。在各个 4:2:0 格式中，IMC2 是第二首选格式，排在 NV12 之后。 图 10. IMC2 内存布局 IMC4 此格式与 IMC2 相同，只是 U (Cb) 和 V (Cr) 行进行了交换： 图 11. IMC4 内存布局 YV12 所有 Y 样例都会作为不带正负号的 char 值组成的数组首先显示在内存中。此数组后面紧接着所有 V (Cr) 样例。V 平面的跨距为 Y 平面跨距的一半，V 平面包含的行为 Y 平面包含行的一半。V 平面后面紧接着所有 U (Cb) 样例，它的跨距和行数与 V 平面相同（图 12） 。 图 12. YV12 内存布局 NV12

14、所有 Y 样例都会作为由不带正负号的 char 值组成的数组首先显示在内存中，并且行数为偶数。Y 平面后面紧接着一个由不带正负号的 char 值组成的数组，其中包含了打包的 U (Cb) 和 V (Cr) 样例，如图 13 所示。当组合的 U-V 数组被视为一个由 little-endian WORD 值组成的数组时，LSB 包含 U 值，MSB 包含 V 值。NV12 是用于 DirectX VA 的首选 4:2:0像素格式。预期它会成为支持 4:2:0 视频的 DirectX VA 加速器的中期要求。 YUV 格式解析 2又确认了一下 H264 的视频格式H264 支持 4：2：0 的连续

15、或隔行视频的编码和解码YUV（亦称 YCrCb）是被欧洲电视系统所采用的一种颜色编码方法（属于 PAL） 。YUV 主要用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。与 RGB 视频信号传输相比，它最大的优点在于只需占用极少的带宽（RGB 要求三个独立的视频信号同时传输） 。其中“Y”表示明亮度（ Luminance 或 Luma） ，也就是灰阶值；而 “U”和“V ”表示的则是色度（Chrominance 或 Chroma） ，作用是描述影像色彩及饱和度，用于指定像素的颜色。 “亮度”是通过 RGB 输入信号来创建的，方法是将 RGB 信号的特定部分叠加到一起。 “色度”则定义了颜色

16、的两个方面色调与饱和度，分别用 Cr 和 CB 来表示。其中，Cr 反映了 GB 输入信号红色部分与 RGB 信号亮度值之间的差异。而 CB 反映的是 RGB 输入信号蓝色部分与RGB 信号亮度值之同的差异。 补充一下场的概念场的概念不是从 DV 才开始有的，电视系统已经有了（当然，DV 和电视的关系大家都知道）归根结底还是扫描的问题，具体到 PAL 制式是： 每秒 25 帧，每帧两场，扫描线（包括电视机的电子束）自上而下先扫描一场，然后再自上而下扫描第二场 之所以引入场的概念，我的理解是主要为了在有限的带宽和成本内使画面运动更加平滑和消除闪烁感。 这两个场的扫描线是一条一条互相间隔开的，比如

17、说对于一个帧来讲，最上面一条线编号为 0，紧挨着的是 1，再下来是 2，3 ，4，5，6 。 。 。 。那么第一场也许是 0，2 ，4，6；也许是 1，3，5，7这就是隔行扫描 在逐行扫描模式下，就是扫描线按照 0，1 ，2，3 ，4，5 的顺序依次扫描，很明显，这时候就不存在场的概念了。 下面区分一下 YUV 和 YCbCrYUV 色彩模型来源于 RGB 模型，该模型的特点是将亮度和色度分离开，从而适合于图像处理领域。应用：模拟领域Y= 0.299*R + 0.587*G + 0.114*BU= -0.147*R - 0.289*G + 0.436*B = 0.492*(B- Y)V= 0.

18、615*R - 0.515*G - 0.100*B = 0.877*(R- Y)R = Y + 1.140*VG = Y - 0.394*U - 0.581*VB = Y + 2.032*UYCbCr 模型来源于 YUV 模型。YCbCr 是 YUV 颜色空间的偏移版本.应用：数字视频，ITU-R BT.601 建议Y = 0.257*R + 0.504*G + 0.098*B + 16Cb = -0.148*R - 0.291*G + 0.439*B + 128Cr = 0.439*R - 0.368*G - 0.071*B + 128R = 1.164*(Y-16) + 1.596*(Cr

19、-128)G = 1.164*(Y-16) - 0.813*(Cr-128) - 0.392*(Cb-128)B = 1.164*(Y-16) + 2.017*(Cb-128)PS: 上面各个符号都带了一撇，表示该符号在原值基础上进行了伽马校正,伽马校正有助于弥补在抗锯齿的过程中，线性分配伽马值所带来的细节损失，使图像细节更加丰富。在没有采用伽马校正的情况下，暗部细节不容易显现出来，而采用了这一图像增强技术以后，图像的层次更加明晰了。所以说 H264 里面的 YUV 应属于 YCbCr.下面再仔细谈谈 YUV 格式, YUV 格式通常有两大类：打包（packed）格式和平面（planar）格式

20、。前者将 YUV 分量存放在同一个数组中，通常是几个相邻的像素组成一个宏像素（macro-pixel） ；而后者使用三个数组分开存放 YUV 三个分量，就像是一个三维平面一样。我们常说得 YUV420 属于 planar 格式的 YUV, 颜色比例如下:Y0U0V0 Y1 Y2U2V2 Y3Y4 Y5 Y6 Y7Y8U8V8 Y9 Y10U10V10 Y11Y12 Y13 Y14 Y15其他格式 YUV 可以点这里查看详细内容, 而在 YUV 文件中 YUV420 又是怎么存储的呢? 在常见 H264 测试的 YUV 序列中, 例如 CIF 图像大小的 YUV 序列(352*288),在文件开

21、始并没有文件头, 直接就是 YUV 数据,先存第一帧的 Y 信息,长度为 352*288 个 byte, 然后是第一帧 U 信息长度是 352*288/4 个 byte, 最后是第一帧的 V 信息,长度是 352*288/4 个 byte, 因此可以算出第一帧数据总长度是 352*288*1.5,即 152064 个 byte, 如果这个序列是 300 帧的话, 那么序列总长度即为 152064*300=44550KB,这也就是为什么常见的 300 帧 CIF 序列总是 44M的原因. 4:4:4 采样就是说三种元素 Y,Cb,Cr 有同样的分辨率,这样的话,在每一个像素点上都对这三种元素进行

22、采样.数字 4 是指在水平方向上对于各种元素的采样率,比如说, 每四个亮度采样点就有四个 Cb 的 Cr 采样值.4:4:4 采样完整地保留了所有的信息值.4:2:2 采样中( 有时记为YUY2),色度元素在纵向与亮度值有同样的分辨率 ,而在横向则是亮度分辨率的一半(4:2:2 表示每四个亮度值就有两个 Cb 和 Cr 采样.)4:2:2 视频用来构造高品质的视频彩色信号. 在流行的 4:2:0 采样格式中(常记为 YV12)Cb 和 Cr 在水平和垂直方向上有 Y 分辨率的一半.4:2:0 有些不同，因为它并不是指在实际采样中使用 4:2:0，而是在编码史中定义这种编码方法是用来区别于 4:

23、4:4 和 4:2:2 方法的).4:2:0 采样被广泛地应用于消费应用中，比如视频会议，数字电视和 DVD 存储中。因为每个颜色差别元素中包含了四分之一的 Y 采样元素量，那么 4:2:0YCbCr 视频需要刚好 4: 4:4 或 RGB 视频中采样量的一半。 4:2:0 采样有时被描述是一个“每像素 12 位“的方法。这么说的原因可以从对四个像素的采样中看出. 使用 4:4:4 采样，一共要进行 12 次采样，对每一个 Y,Cb 和 Cr，就需要 12*8=96位，平均下来要 96/4=24 位。使用 4:2:0 就需要 6*8 =48 位，平均每个像素 48/4=12 位。 在一个 4:

24、2:0 隔行扫描的视频序列中，对应于一个完整的视频帧的 Y,Cb,Cr 采样分配到两个场中。可以得到，隔行扫描的总采样数跟渐进式扫描中使用的采样数目是相同的。对比一下：Y41P（和 Y411） （packed 格式）格式为每个像素保留 Y 分量，而 UV 分量在水平方向上每4 个像素采样一次。一个宏像素为 12 个字节，实际表示 8 个像素。图像数据中 YUV 分量排列顺序如下： U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y8 IYUV 格式（planar）为每个像素都提取 Y 分量，而在 UV 分量的提取时，首先将图像分成若干个 2 x 2 的宏块，然后每个宏块提取一

25、个 U 分量和一个 V 分量。YV12 格式与 IYUV 类似，但仍然是平面模式。YUV411、YUV420 格式多见于 DV 数据中，前者用于 NTSC 制，后者用于 PAL 制。YUV411 为每个像素都提取 Y 分量，而 UV 分量在水平方向上每 4 个像素采样一次。YUV420 并非 V 分量采样为 0，而是跟 YUV411 相比，在水平方向上提高一倍色差采样频率，在垂直方向上以U/V 间隔的方式减小一半色差采样，如下图所示。（好像显示不出来突下图像）各种格式的具体使用位数的需求（使用 4:2:0 采样，对于每个元素用 8 个位大小表示)： 格式： Sub-QCIF 亮度分辨率： 128*96 每帧使用的位: 147456格式： QCIF 亮度分辨率： 176*144 每帧使用的位: 304128格式： CIF 亮度分辨率： 352*288 每帧使用的位: 1216512格式： 4CIF 亮度分辨率： 704*576 每帧使用的位: 4866048