视频信息处理技术.ppt

视频信息处理技术,视频信息处理技术,视频信息概述 MPEG运动图像压缩标准 视频信息的处理 视频信息的播放 绘声绘影 利用Adobe Premiere Pro处理视频信息,视频信息概述－什么是视频,什么是视频 视频是图像数据的一种，若干有联系的图像数据连续播放便形成了视频。来自数字摄像机、数字化的模拟摄像资料、视频素材库等。,,电视视频是模拟信号，而计算机视频是数字信号。模拟信号向数字信号的转换需要压缩、快速解压缩及播放相应软、硬件。 AVI、MPG、DVD等格式,视频信息概述－视频技术,视频技术包括视频数字化和视频编码技术两个方面。 视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号，使得计算机可以显示和处理视频信号。,,视频编码技术是将数字化的视频信号经过编码成为电视信号，从而可以录制到录像带中或在电视上播放。,视频信息概述－视频的制式,主要有NTSC和PAL两种 NTSC 正交平衡调幅制（National Television Standards Committee，NTSC），又称为N制，是1952年12月由美国国家电视标准委员会（National Television System Committee,缩写为NTSC）定制的彩色电视广播标准。,,它属于同时制，帧频为每秒30帧，扫描线为每帧525行，逐行扫描，画面比例为4：3，分辨率为720x480。 这种制式的色度信号调制包括了平衡调制和正交调制两种，解决了彩色黑白电视广播兼容问题，但存在相位容易失真、色彩不太稳定的缺点。 美国、加拿大、墨西哥等大部分西半球国家以及我国的台湾地区、日本、韩国、菲律宾等均采用这种制式。,视频信息概述－视频的制式,PAL 逐行倒相正交平衡调幅制（Phase Alternating Line，PAL），是由西德在1962年指定的彩色电视标准。它克服了NTSC制式因相位敏感造成的敏感失真的缺点。 PAL制式是每秒25祯图，每帧625行。 德国、英国、新加坡、中国内地及香港、澳大利亚、新西兰等国家采用的是这种制式。,,NTSC、PAL两种制式是不能互相兼容，一种制式在支持另一种制式的电视机中只能以黑白色显示。 重要概念：帧，影片是由一张张连续的图片组成的，每幅图片就是一帧。,视频信息概述－视频的制式,SECAM 顺序传送彩色与存储（Sequential Coleur Avec Memoire，SECAM），1966年法国研制成功，它属于同时顺序制。 在信号传输过程中，亮度信号每行传送，而两个色差信号则逐行依次传送，即用行错开传输时间的办法来避免同时传输时所产生的串色以及由其造成的彩色失真。,,SECAM制式特点是不怕干扰，彩色效果好，但兼容性差。 帧频每秒25帧，扫描线625行，隔行扫描，画面比例4：3，分辨率720x576。 采用SECAM制的国家主要为前苏联、法国、埃及等。,有人戏称NTSC为 Never The Same Color (不会出现一样的色彩)、称 PAL 为 Perfect At Last (最后也是最好)、称SECAM为 System Essentially Contrary to American Method(本质上有别与美国的系统)。,视频信息概述－视频的制式,都是兼容制式，“兼容”两层意思：一是黑白电视机能接收彩色电视广播，显示黑白图像，二是彩色电视机能接收黑白电视广播，显示也是黑白图像，称为逆兼容性。,,为了既能实现兼容性又具有彩色特性，彩色电视系统应满足下列要求： ①必须采用与黑白电视相同的一些基本参数，扫描方式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等。,,②需要将摄像机输出的三基色信号置换成一个高密度信号以及代表色度的两个色差信号，并将它们组合成一个彩色全电视信号进行传送。接收端，彩色电视机将彩色全电视信号重新转换成3个基色信号，在显像管上重现发送端的彩色图像。,视频信息概述－常用概念,模拟信号 由摄像机等获取设备直接获得的信号，它是随时间连续变化的信号，它的信号波形在时间和幅度上都是连续的。 数字信号 是模拟信号经过采样和量化后而获得的信号，它的信号波形沿时间轴方向是离散的，在信号幅度方向是离散的。计算机中的数字信号就是连续信号经过采样和量化后得到的离散信号。,,扫描 “扫描”的概念来自摄像机的原理。摄像机利用光敏设备－电荷耦合器（CCDS）在二维图像上移动感测点，从而把二维图像信息置换为一维的电信号，这个过程叫做扫描。扫描时，随着扫描点的移动、图像信息的亮度和色彩的变化而输出不断变化的电信号，这些电信号是随时间连续变化的模拟视频信号。 扫描分为逐行扫描和隔行扫描。,视频信息概述－常用概念,帧 扫描图像获得的模拟信号，扫描的过程是从左上角开始，水平向右，到达图像右边沿后迅速返回左边，另起一行重新扫描。从一行到另一行的返回过程称为水平消隐。 每一帧扫描结束后，扫描点从右下角返回左上角，再开始新的一帧的扫描。从右下角返回左上角的时间间隔称为垂直消隐。 帧的长宽比一般为4：3。,,视频信号的参数 行频：每秒钟扫描多少行； 场频：每秒钟扫描多少场； 帧频：每秒钟扫描多少帧。 逐行扫描 逐行扫描的一帧即为一个垂直扫描场。适用于对分辨率要求较高的场合。,视频信息概述－常用概念,隔行扫描 一帧分为两场：奇数场和偶数场，即用两个垂直扫描场来表示一帧。通常将扫奇数行的场叫奇数场(也称上场)，扫偶数行的场叫偶数场(也称下场)。隔行扫描会使显示运动图像更平滑。下面两图为一帧图像的上场和下场的扫描过程。,视频信息概述－视频信号格式,RGB、YUV等 普通彩色CRT显示器内部有三支电子枪，使用电子枪去激活显示器屏幕的荧光粉，三种荧光粉发射出的光生成一个像素位置的颜色点，这就是我们人眼能看到的一个像素。每个像素对应红、绿、蓝（R、G、B）三个强度等级，每个像素占用24位，可以显示近1700 万种颜色，这就是我们所说的真彩色。,视频信息概述－视频信号格式,RGB RGB指红(RED)绿(GREEN)蓝(BLUE)三原色。 每种颜色都可用三个变量来表示--红色、绿色以及蓝色的强度。记录及显示彩色图像时，RGB是最常见的一种方案。,,但是，它缺乏与早期黑白显示系统的良好兼容性。因此，许多电子电器厂商普遍采用的做法是，将RGB转换成YUV 颜色空间，以维持兼容，再根据需要换回RGB格式，以便在电脑显示器上显示彩色图形。,视频信息概述－视频信号格式,YUV YUV是被欧洲电视系统所采用的一种颜色编码方法，我国广播电视也普遍采用这类方法。,,“Y”表示明亮度（Luminance或Lumi），也就是灰阶值，控制图像点的亮度；“U”和“V”是两个色差信号，表示的则是色度（Chrominance或Chroma）。U、V信号在传输过程可以合成为一个色度信号C。 彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。,视频信息概述－视频信号格式,YUV信号与RGB信号关系：,视频信息概述－视频的数字化,模拟/数字转换，即A/D转换，可分为两步： 采样：把信号置换为时间方向离散的信号，而每个信号在幅度方向连续； 量化：把采样信息转换为时间、幅度方向都离散的数字信号。,,采样是根据一定频率的时钟脉冲，获得该时刻的信号幅度值。采样时的时钟频率称为采样频，采样频率越高，效果越好，所需存储空间越大。,,奈奎斯特采样定理，为不使原波形产生“半波损失”，采样率至少应为信号最高频率的两倍。 当采样频率fs.max大于信号中最高频率fmax的2倍时，即：fs.max>=2fmax,则采样之后的数字信号完整地保留了原始信号中的信息； 采样定理是信息量化的基础，使离散的2进制比特表示连续的模拟量的理论依据。,视频信息概述－视频的数字化,量化是把采样获得的信号在幅度方向上进步离散化的过程。 量化按照YUV格式各个分量来进行，不同的采样格式是指Y、U、V三种信号的采样频率的比例关系不同，通常采用“Y：U：V”的表示形式。 常见的采样格式有：,,4：4：4 没有对色度信号进行压缩的采样格式。对每一个采样点，Y、U、V各取一个样本，每个像素用3个样本表示。 4：1：1 在4个连续的采样点上，取4个亮度Y的样本值，U和V各取一个样本，共6个样本，平均每个像素用1.5个样本表示。,,4：2：2 在4个连续的采样点上，取4个亮度Y的样本值，U和V各取2个样本，共8个样本，平均每个像素用2个样本表示。 4：2：0 在水平和垂直方向上每两个连续的采样点上取2个Y，一个U和一个V，平均每个像素用1.5个样本表示。,MPEG运动图像压缩标准,MPEG（Moving Picture Experts Group）－运动图像专家组，是国际标准化组织ISO建立的一个致力于制定多媒体领域内的国际标准的组织。该组织成立于1988年，由全世界大约300名多媒体技术专家组成。,,包括MPEG视频、MPEG音频和MPEG系统（视音频同步）三个部分。 MPEG压缩标准是针对运动图像而设计的，基本方法是在单位时间内采集并保存第一帧信息，然后就只存储其余帧相对第一帧发生变化的部分，以达到压缩的目的。,MPEG运动图像压缩标准,MPEG视频是MPEG标准的核心。MPEG视频压缩算法中包含两种基本技术：一种是运动补偿技术，用来减少帧序列的时间冗余性；另一种是基于DCT（离散余弦转换，一种与傅立叶变换紧密相关的数学运算 ）的压缩，用于减少帧序列的空间冗余性。,,MPEG压缩标准可实现帧之间的压缩，其平均压缩比可达50：1，压缩率比较高，且又有统一的格式，兼容性好。 在多媒体数据压缩标准中，较多采用MPEG系列标准，包括MPEG-1、2、4等。,MPEG运动图像压缩标准－MPEG1,MPEG-1(ISO/IEC 11172)是MPEG组织于1992年提出的第一个具有广泛影响的多媒体国际标准。MPEG-1标准的正式名称为“基于数字存储媒体运动图像和声音的压缩标准”，MPEG-1着眼于解决多媒体的存储问题。,,MPEG-1用于传输1．5Mbps数据传输率的数字存储媒体运动图像及其伴音的编码，经过MPEG-1标准压缩后，视频数据压缩率为1/100-1／200，音频压缩率为1／6.5。MPEG-1提供每秒30帧352*240分辨率的图像，当使用合适的压缩技术时，具有接近家用视频制式（VHS）录像带的质量。,,MPEG-1允许超过70分钟的高质量的视频和音频存储在一张CD-ROM盘上。VCD采用的就是MPEG-1的标准，该标准是一个面向家庭电视质量级的视频、音频压缩标准。,MPEG运动图像压缩标准－MPEG2,MPEG-2的正式名称为“通用的图像和声音压缩标准”。MPEG-2标准最为引人注目的产品是数字电视机顶盒与DVD。,,MPEG-2主要针对高清晰度电视（HDTV）的需要，传输速率为10Mbps，与MPEG-1兼容，适用于1.5-60Mbps甚至更高的编码范围。 MPEG-2有每秒30帧704*480的分辨率，是MPEG-1播放速度的四倍。,,它适用于高要求的广播和娱乐应用程序，如： DSS卫星广播和DVD，MPEG-2是家用视频制式（VHS）录像带分辨率的两倍。,,问题：mp3与mpeg3有什么区别？ MPEG-3并不是我们所说的MP3。MP3是MPEG-1音频Layer 3部分, 是MPEG 1 layer 3，属于MPEG 1中的音频部分。 MPEG-3是MPEG组织制定的视频和音频压缩标准。本来的目标是为HDTV提供20-40Mbps视频压缩技术。在标准制定的过程中，委员会很快发现MPEG-2可以取得类似的效果。随后，MPEG-3项目停止了。,MPEG运动图像压缩标准－MPEG4,MPEG-4标准是超低码率运动图像和语言的压缩标准用于传输速率低于64kbps的实时图像传输，它不仅可覆盖低频带，也向高频带发展。,,较之前两个标准而言，MPEG一4为多媒体数据压缩提供了—个更为广阔的平台。它更多定义的是一种格式、一种架构，而不是具体的算法。它可以将各种各样的多媒体技术充分用进来，包括压缩本身的一些工具、算法，也包括图像合成、语音合成等技术。,,MPEG-4的最大创新在于赋予用户针对应用建立系统的能力，而不是仅仅使用面向应用的固定标准。此外，MPEG-4将集成尽可能多的数据类型，例如自然的和合成的数据，以实现各种传输媒体都支持的内容交互的表达方法。借助于MPEG-4，我们第一次有可能建立个性化的视听系统。,MPEG运动图像压缩标准－MPEG7,MPEG-7标准的正式名称叫“多媒体描述接口” （Multimedia Content Description Interface） ，于2001年11月发布。,,MPEG制定这个标准的主要目的，是为了解决多媒体内容的检索问题。通过这个标准，MPEG希望对以各种形式存储的多媒体结构有一个合理的描述，通过这个描述，用户可以方便地根据内容访问多媒体信息。,,MPEG-7建立了一套标准化的语言－描述定义语言（Descripton Definition Language, DDL），用以说明描述方案，保证其被广泛采用的扩展性和较长的生命周期。,视频信息处理－常见视频处理功能,视频剪辑 根据需要，剪除不需要的视频片段，连接多段视频信息。在连接时，还可以添加过渡效果等。 视频叠加 根据需要，把多个视频影像叠加在一起。,,视频和声音同步 在单纯的视频信息上添加声音并精确定位，保证视频和声音的同步。 添加特殊效果 使用滤镜加工视频，使影像具有各种特殊效果。作用和效果类似Photoshop中的滤镜。,视频信息处理－视频信息获取,视频捕获指利用视频卡从视频源获取模拟视频信号，并将其转变为数字视频信号的过程，通常称之为桌面视频（计算机视频）捕获。,,视频捕获需要配备相应的视频输入设备，如摄像机、数码相机等；还需要视频捕获硬件——采集卡、采集压缩卡、1394卡和1394线及视频采集程序。,,数码摄像机是获取视频素材的常用工具，具有图象清晰，转录信号损失微小等优点。 将视频信号输入计算机，需要用视频采集卡。,视频信息处理－视频信息获取,数码摄像机关键部件是CCD，（Charge Coupled Device）－电荷藕合器件。它使用一种高感光度的半导体材料制成，能把光线转变成电荷，然后通过模数转换器芯片将电信号转换成数字信号，数字信号经过压缩处理经USB接口传到电脑上就形成所采集的图像。,,数码摄像机采用的视频CCD采用隔行读取方式，这样可以降低视频图像的闪烁感，与数码照相机的静态CCD工作原理不同。,,数码摄像机使用小型盒式DV磁带记录拍摄的动态影像，静态图像使用专门的半导体存储卡。 视频采集卡又称视频捕捉卡，用它可获取数码化视频信息，并将其存储和播放出来。,,视频采集卡是根据高速率下捕获不丢帧的能力来划分等级的，较高的速率会带来较好的影像质量。但是，当捕获速率设置得很高时视频采集卡在捕获过程中会发生丢帧现象。这时可以降低捕获数据的速率，而捕获到完整的帧。,,有些视频采集卡还提供硬压缩功能，如果采集卡上有硬压缩采集性能将有很大提高，可成功实现每秒30帧，全屏幕视频数字化捕捉。,视频信息的播放,windows media player，可播放音频、视频，windows操作系统内置。 Realplayer，RealNetworks公司开发，支持RealAudio、RealVideo和RealFlash等格式，适合用于网络媒体播放。,,Quicktime，Apple公司开发，支持.mov格式的视频文件。有跨平台、存储空间小等特点。 其他：超级解霸、暴风影音等。,,sunqiurui@163.com,视频格式,ASF n AVI AVI MPEG DIVX Quick Time REAL VIDEO,