视频信息处理技术.pptx

第六章 视频信息处理技术,主讲：杨帆,第六章 视频信息处理技术,第2页/共86页,本章导读,视频处理技术是多媒体技术中较为复杂的信息处理技术，能够同时处理运动图像和与之相伴的音频信号，使计算机具备了处理电视信号的能力。本章将从模拟视频的基本概念入手，介绍数字视频的基础知识和采集、编辑、压缩、存储、回放（解压缩）等相关处理技术。与此同时，还将介绍与之相关的动画制作技术，以便读者掌握较为全面的数字视频处理思想，并根据不同的应用场合选择合适的处理技术。,主讲：杨帆,第六章 视频信息处理技术,第3页/共86页,本章主要内容,6.1 视频基础知识 6.2 视频数字化 6.3 数字视频编码压缩 6.4 数字视频文件及其格式 6.5 视频卡 6.6 非线性视频编辑 6.7　动画技术,主讲：杨帆,第六章 视频信息处理技术,第4页/共86页,6.1 视频基础知识,视频（Video）是随时间变化连续播放多幅静止图像而产生的带有动感的图像序列，它是通过电子技术手段在相应的设备（如摄像机、电视机、电脑显示器等）上实现的。,从数学角度看，视频是一个时空函数v（x，y，t），它反映了多幅静态图像随时间变化的特点，其中（x，y）是空间位置变量，表示图像颜色的变化，t是时间变量。如图6-1所示。,图像帧：视频图像序列中的每幅图像，简称帧， 帧序列：连续的图像序列， 视频的帧率：每秒钟播放的帧数，以“帧/秒”为单位。 场景：具有相同（似）背景画面的帧序列构成视频画面。关键帧：对场景画面起决定作用的帧。,主讲：杨帆,第六章 视频信息处理技术,第6页/共86页,6.1.1 模拟视频,模拟视频（Analog Video）是以连续的模拟信号方式存储、处理和传输的视频信息，所用的存储介质、处理设备以及传输网络都是模拟的。 模拟视频具有以下特点： 以连续的模拟信号形式记录视频信息； 用隔行扫描方式在输出设备（如电视机）上还原图像； 用模拟设备编辑处理； 用模拟调幅的手段在空间传播； 使用模拟录像机将视频作为模拟信号存放在磁带上。,主讲：杨帆,第六章 视频信息处理技术,第7页/共86页,6.1.2 模拟视频标准,世界上最常用的模拟广播视频标准（也称制式）有3个：NTSC、PAL、SECAM。 单一制式的播放机（如放像机）和录像机只能播放或录制一种制式的模拟视频信号； 多制式录像机则能够播放或录制所有标准的视频。 1、NTSC标准 是1952年美国国家电视标准委员会（National Television Standard Committee）制定的一项标准。该标准定义了将运动图像信息编码成电信号并最终形成电视画面的方法。,主讲：杨帆,第六章 视频信息处理技术,第8页/共86页,基本内容为：构成视频画面的帧被分割成525条水平扫描线，采用隔行扫描技术，每一遍的扫描时间为1/60s，两遍扫描形成的图像组合起来，构成一帧完整的视频画面，因此NTSC标准的帧率为30 fps（实际上，这一速率为29.97 Hz）。 2、PAL标准 PAL（Phase Alternate Line），“逐行倒相” ，即每行扫描线的彩色信号跟上一行倒相，其作用是自动改正传播中可能出现的错相。 该标准将视频帧分割成625条水平线，采用隔行扫描方式，扫描时间均为1/50 s，两遍扫描形成的图像组合起来，构成一帧完整的视频画面，因此PAL标准的帧率为25 fps。,主讲：杨帆,第六章 视频信息处理技术,第9页/共86页,表6-1 3种模拟视频制式的主要技术参数,3、SECAM标准 SECAM（Sequential Color and Memory），“顺序彩色与存储系统”，该标准也是将视频帧分割成625条水平线，采用隔行扫描方式，帧率为25fps。 该标准在基本技术和广播方法方面与NTSC和PAL有较大差异。,主讲：杨帆,第六章 视频信息处理技术,第10页/共86页,6.1.3 模拟视频的信号类型,模拟视频信号主要包括亮度信号、色度信号、复合同步信号和伴音信号。,信号类型： RF射频信号 复合视频信号（AV） 分量视频信号 分离视频信号（S-Video）,主讲：杨帆,第六章 视频信息处理技术,第11页/共86页,1．RF射频信号,为了实现模拟视频信号的远距离传输，必须把包括亮度（Y）信号、色度（C）信号、复合同步信号和伴音信号在内的全电视信号调制成射频（Radio Frequency）信号，每个信号占用一个频道。 当视频接收设备（如电视机）接收到射频信号时，先从射频信号中解调出全电视信号，再还原成图像和声音信号。,接口外形如图6-2所示，一般在电视机、TV卡上提供这种接口，方便连接无线/有线电视信号。,图6-2 RF射频信号,主讲：杨帆,第六章 视频信息处理技术,第12页/共86页,2．复合视频信号（AV）,是指全电视信号中除了伴音信号外的图像信号，它是亮度（Y）信号、色度（C）信号和以及相应的同步信号混合在一起的复合信号，伴随视频画面的声音信号分左右声道单独传输。,图6-2 AV复合视频信号,接口外形如图6-3所示，接口类型均为RCA，按颜色区分信号，黄色为视频信号，白色为左声道音频信号，红色为右声道音频信号。,主讲：杨帆,第六章 视频信息处理技术,第13页/共86页,3．分量视频信号,分量视频信号（Component Video Signal），是指每个基色分量作为独立信号。每个基色既可以分别用R、G、B表示（电脑显示器），也可以用亮度-色差表示（彩色电视机）。 NTSC制式的彩色电视信号YIQ PAL和SECAM制式的彩色电视信号YUV (YCrCb，YPrPb (逐行扫描的显示设备)，其中：Y=亮度，U=R-Y=Cr，V=B-Y=Cb。,(a) YCrCb分量视频（音频） （b）VGA视频 图6-4 分量视频信号,主讲：杨帆,第六章 视频信息处理技术,第14页/共86页,4．分离视频信号（S-Video）,分离视频信号S-Video（Separated Video），是分量视频信号和复合视频信号的一种折中方案，它将亮度Y和色差信号C分离，既减少了亮度信号和色差信号之间的交叉干扰，又可提高亮度信号的带宽，接口外形如图6-5所示。,图6-5 S-Video视频信号,主讲：杨帆,第六章 视频信息处理技术,第15页/共86页,6.1.4 数字视频,数字视频（Digital Video）是以离散的数字信号方式表示、存储、处理和传输的视频信息，所用的存储介质、处理设备以及传输网络都是数字化的。,具有以下特点： 以离散的数字信号形式记录视频信息； 用逐行扫描方式在输出设备上还原图像； 用数字化设备编辑处理； 通过数字化宽带网络传播； 存储在数字存储媒体上。,主讲：杨帆,第六章 视频信息处理技术,第16页/共86页,与模拟视频相比，数字视频还具有以下优点： 可用计算机编辑处理； 再现性好； 适合于数字网络。,多媒体技术中的数字视频，主要指以多媒体计算机为核心的数字视频处理体系。 要使多媒体计算机能够对视频进行处理，除了直接拍摄数字视频信息外，还必须把模拟视频源——来自于电视机、模拟摄像机、录像机、影碟机等设备的模拟视频信号，转换成数字视频。,主讲：杨帆,第六章 视频信息处理技术,第17页/共86页,6.1.5 数字视频接口类型,1．DVI接口 DVI （Digital Visual Interface），是数字视频信号接口，基于TMDS（Transition Minimized Differential Signaling，转换最小差分信号）技术来传输数字信号的。 基本思想是：通过最小转换编码算法把R、G、B中的每路基色信号（8bit数据）转换成包含行场同步信息、时钟信息、数据DE、纠错等在内的10bit数据，再经过DC平衡后以差分信号方式传输数据。,主讲：杨帆,第六章 视频信息处理技术,第18页/共86页,DVI接口有DVI-D和DVI-I两种类型： DVI-D仅用于传输数字视频信号，可将数字信号不加转换地直接传输到显示设备中； DVI-I既可传输数字信号，增加转换适配器后也可传输模拟信号。,主讲：杨帆,第六章 视频信息处理技术,第19页/共86页,2．HDMI高清晰度多媒体接口 HDMI（High Definition Multimedia）是一种全数字化的影音传输接口，传送无压缩的音频信号及高分辨率视频信号，无需在信号传送前进行数/模或者模/数转换，最大传输距离15米，可提供高达5Gbps的数据传输带宽，HDMI在针脚功能划分上和DVI兼容，只是采用了不同的封装。,与DVI相比，HDMI可以传输数字音频信号，并增加了对HDCP的支持，DDC可选功能，允许用一个电缆分别连接DVD播放器，接收器等不同设备。支持EDID和DDC2B。图6-7是HDMI接口的外形。,图6-7 HDMI接口,主讲：杨帆,第六章 视频信息处理技术,第20页/共86页,6.1.6 数字电视,数字电视（Digital Television DTV），是第三代电视，是在拍摄、编辑、制作、播出、传输、接收等电视信号处理的全过程都使用数字技术。 四大标准：ATSC、DVB、ISDB、DMB-TH， ATSC(Advanced Television System Committee先进电视制式委员会)是美国标准， DVB(Digital Video Broadcasting 数字视频广播) 是欧洲标准， ISDB(Integrated Services Digital Broadcasting 综合业务数字广播) 是日本标准， DMB-TH（中国数字电视地面传输标准）是中国标准。 数字电视标准支持4:3和16:9两种宽高比的显示屏幕。,主讲：杨帆,第六章 视频信息处理技术,第21页/共86页,表6-2 数字电视（ATSC）标准参数,ATSC标准定义了18种数字电视采用的画面格式，这些画面格式被分成了三个等级， SDTV（Standard Definition TV）标准清晰度电视 EDTV（Enhanced Definition TV）增强清晰度电视 HDTV（High Definition TV）高清晰度电视,主讲：杨帆,第六章 视频信息处理技术,第22页/共86页,6.2 视频数字化,6.2.1 视频数字化方法,两种方法： 复合数字化（Recombination digitalization） 分量数字化（Component digitalization） 复合数字化是先用一个高速的模/数（A/D）转换器对全彩色电视信号进行数字化，然后在数字域中分离亮度和色度，以获得YCbCr分量、YUV分量或YIQ分量，最后再转换成RGB分量。 分量数字化是先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用3个模/数转换器对3个分量分别进行数字化，最后再转换成RGB分量。分量数字化是采用较多的一种模拟视频数字化方法。,主讲：杨帆,第六章 视频信息处理技术,第23页/共86页,6.2.2 视频数字化过程,采用分量采样的数字化方法，数字化过程包括： 按分量采样方法采样，得到隔行样本点； 将隔行样本点组合、转换成逐行样本点； 进行样本点的量化； 彩色空间的转换，即将采样得到YUV或YCbCr信号转换为RGB信号； 对得到的数字化视频信号进行编码、压缩。,主讲：杨帆,第六章 视频信息处理技术,第24页/共86页,主讲：杨帆,第六章 视频信息处理技术,第25页/共86页,6.2.3 视频采样,两种采样方法： 使用相同的采样频率对图像的亮度信号和色差信号进行采样 对亮度信号和色差信号分别采用不同的采样频率进行采样 视频采样的基本原理是依据人的视觉系统所具有的两个特性：一是人眼对色度信号的敏感程度比对亮度信号的敏感程度低，二是人眼对图像细节的分辨能力有一定的限度。 如果用Y: Cr: Cb来表示Y、Cr、Cb三个分量的采样比例，则数字视频常用的采样格式分别为：4:4:4、4:2:2、4:1:1和4:2:0四种。,主讲：杨帆,第六章 视频信息处理技术,第26页/共86页,4:4:4采样格式：在每条扫描线上每4个连续的采样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本，如图6-3（a）。 4:2:2采样格式：在每条扫描线上每4个连续的采样点取4个亮度Y样本、间隔取2个红色差Cr样本和2个蓝色差Cb样本，如图6-3（b）。 4:1:1采样格式：在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，如图6-3（c）。,图6-8 三种采样格式的采样空间位置图示,主讲：杨帆,第六章 视频信息处理技术,第27页/共86页,4:2:0采样格式：在采样位置上与以上几种有所不同，它是指在水平和垂直两个方向上每2个连续的（共4个）采样点上各取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。常用的DV、MPEG-1和MPEG-2等均使用该格式。,图6-9 4:2:0格式的两种不同采样位置,主讲：杨帆,第六章 视频信息处理技术,第28页/共86页,6.2.4 视频量化,视频量化是进行图像幅度上的离散化处理。 对于以上不同的采样格式，如果用8位的量化精度，则每个象素的采样数据列于表6-3中。,表6-3 采样格式与像素数据位数,,一般用途的视频信号均采用8位或10位量化，而信号质量要求较高的情况下可采用12位量化。,主讲：杨帆,第六章 视频信息处理技术,第29页/共86页,6.2.5 视频数字化标准,在20世纪80年代初，国际无线电咨询委员会CCIR（International Radio Consultative Committee）就制定了彩色电视图像数字化标准，称为CCIR 601标准，现改为ITU-RBT.601标准。 1、采样频率 ITU-RBT.601为NTSC制、PAL制和SECAM制规定了共同的视频采样频率。 亮度信号采样频率 fs = 13.5 MHz 色度信号采样频率 fc＝6.75MHz 或 13.5MHz PAL标准的每行采样点数N = 864 NTSC 标准的每行采样点数N = 858 对于所有制式，每个扫描行的有效样本数均为720,主讲：杨帆,第六章 视频信息处理技术,第30页/共86页,2、分辨率与帧率,对于不同标准的模拟视频信号，ITU-RBT.601制定了不同的分辨率与帧率参数，具体内容如表6-4所示。,表6-4 分辨率与帧率参数表,主讲：杨帆,第六章 视频信息处理技术,第31页/共86页,3、采样格式与量化范围,ITU-RBT.601对NTSC和PAL标准的视频信号做了规定： 采样格式：4∶2∶2的视频信号 量化范围取值为：亮度信号220级，色度信号225级。,表6-5 视频信号数字化参数摘要,主讲：杨帆,第六章 视频信息处理技术,第32页/共86页,4、彩色空间的转换,数字域中RGB和YCbCr两个彩色空间之间的转换关系，可用下式表示： RGB→YCbCr转换 Y = 0.2990R+0.5870G+0.1140B Cb = 0.564（B-Y） Cr = 0.713（R−Y） YCbCr→RGB转换 R = Y+1.402Cr G= Y-0.344 Cb -0.714 Cr B= Y+1.772 Cb,主讲：杨帆,第六章 视频信息处理技术,第33页/共86页,5、CIF、QCIF和SQCIF,表6-6 CIF、QCIF和SQCIF图像格式参数,,CIF：Common Intermediate Format，公共中间格式 QCIF：Quarter-CIF，1/4公共中间格式 SQCIF：Sub-Quarter Common Intermediate Format,主讲：杨帆,第六章 视频信息处理技术,第34页/共86页,6、视频序列的SMPTE表示单位,动画和电视工程师协会（Society of Motion Picture and Television Engineers，SMPTE）使用的时间码标准格式： 小时:分钟:秒:帧（hours：minutes：seconds：frames） 在具体的数字视频编缉处理时，就是通过SMPTE时间码准确定位视频帧的。,主讲：杨帆,第六章 视频信息处理技术,第35页/共86页,6.3 数字视频编码压缩,6.3.1 视频数据压缩,视频数据压缩方法分为帧内压缩和帧间压缩两种。 帧内压缩（Intraframe compression）也称为空间压缩（Spatial compression），仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，一般采用有损压缩算法，达不到很高的压缩比。 帧间压缩（Interframe compression）也称为时间压缩（Temporal compression），是基于许多视频或动画的连续前后两帧具有很大的相关性（即连续的视频其相邻帧之间具有冗余信息）的特点来实现的。通过比较时间轴上不同帧之间的数据实施压缩，进一步提高压缩比。一般是无损压缩。,主讲：杨帆,第六章 视频信息处理技术,第36页/共86页,6.3.2 视频压缩编码标准介绍,国际标准化组织（ISO）、国际电子学委员会（IEC）以及国际电信联盟（ITU-T）等组织先后审议制定了许多音视频编码标准，分为MPEG和H.26X两大系列。 MPEG系列标准： 是由ISO和IEC联合制定的运动图像（含音频）压缩编码标准， 主要用于数字电视节目和数字视频光盘； H.26X系列标准： 是由ITU-T制定的音视频压缩编码标准， 主要用于多媒体网络环境中的数字视频传输，如可视电话、视频会议、视频点播等。,主讲：杨帆,第六章 视频信息处理技术,第37页/共86页,MPEG系列标准包含MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21等五个具体标准。,MPEG-1标准：1988年5月提出，1992年11月形成国际标准，编号是ISO/IEC11172 。 MPEG-2标准：1990年6月提出，1994年11月形成国际标准。编号是ISO/IECl3818 。 MPEG-4标准：1993年7月提出，1999年5月形成国际标准（版本一），编号是ISO/IECl4496。 MPEG-7标准：1997年7月提出，在2001年9月形成国际标准，编号是ISO/IECl5938 。 MPEG-21标准是与MPEG-7标准几乎同步制定的，于2001年12月完成。,主讲：杨帆,第六章 视频信息处理技术,第38页/共86页,表6-7 MPEG以及H.26x系列标准的内容特征,主讲：杨帆,第六章 视频信息处理技术,第39页/共86页,需要说明的是：H.264是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10 部分，2003年3月正式发布。,主讲：杨帆,第六章 视频信息处理技术,第40页/共86页,6.4 数字视频文件及其格式,6.4.1 数字视频文件,从应用的角度看，一段有观看价值的数字视频应该包括运动的画面、伴音以及与画面和伴音内容相关的字幕等内容，这些内容有机结合后被保存在一个文件内，这就是视频文件。 从技术角度看，运动的视频画面可能由多个视频轨道组成，比如画中画；伴音信号也可能由多个音轨组成，如双声道、5.1声道等；字幕信息可能包括不同文字构成多文种字幕，如中文字幕、英文字幕等。 因此，视频文件是包含多轨视频、多轨音频、多文种字幕等信息在内的多媒体组装容器。,主讲：杨帆,第六章 视频信息处理技术,第41页/共86页,6.4.2 数字视频文件格式,适合本地播放的视频文件（普通视频文件） 适合远程播放的视频文件（流式文件）,常见的数字视频容器格式有： AVI（.avi） MPEG（.mpg,.mpeg） Matroska（.mkv, .mka） OGM（.ogm） Quicktime（.mov） Realmedia（.rm, .rmvb）等。,主讲：杨帆,第六章 视频信息处理技术,第42页/共86页,1．AVI格式,AVI（Audio Video Interleave），音、视频交替存储格式； 只能支持一个视频轨道和一个音频轨道，还可以有一些附加轨道，如文字等。 运动图像采用帧内有损压缩，伴音采用PCM压缩； 不提供任何控制功能； 新的AVI可支持MPEG-1、MPEG-2、MPEG-4、WMV7/WMV8/WMV9、H.264(AVC1/DAVC/H264/X264)、VC-1等20多种视频编码。,主讲：杨帆,第六章 视频信息处理技术,第43页/共86页,2．MPEG格式,MPEG（Moving Picture Experts Group），经ISO（国际标准组织）认可的一种视频文件封装形式 采用MPEG系列压缩算法 MPEG-1主要用于当时的VCD视频压缩，文件扩展名可以是.MPEG、.MPG或.DAT等； MPEG-2采用可变速率（Variable Bit Rate，VBR）技术，主要用于DVD视频和初期的HDTV，文件扩展名为.VOB、.MPG等 最新的MPEG文件格式是MP4，规范的MP4文件类型标识为.MP4，非规范标识有.MSF、.MOV、.M4V、.M4A、.M4P、.3GP等,主讲：杨帆,第六章 视频信息处理技术,第44页/共86页,3．QuickTime Move格式,Apple公司开发的一种用于保存音频和视频信息的视频文件（容器）格式 文件类型标识为.MOV 可存储视频、音频、图片、文本字幕等多种信息， 于1998年2月经ISO认可成为MPEG-4标准的基础 不仅使用.MOV标识，也使用.MP4、.MPG等类型标识。,4．RealMedia格式,由RealNetworks开发的一种流式音视频文件（容器）格式 文件类型标识为.RM或RMVB 可存储Real Video和Real Audio编码的媒体信息,主讲：杨帆,第六章 视频信息处理技术,第45页/共86页,5．MatroskaMedia格式,开放源代码的多媒体（高清视频）容器格式 可把多种不同编码的视频、多轨不同格式的音频和多语言不同字幕封装到一个Matroska Media文件内 文件类型名为.MKV,6．Ogg Media格式,开放源代码的多媒体容器格式 文件类型标识为.OGM或.OGG 可存储多路视频、多轨音频和文本字幕 视频常用xvid、divx等编码，音频采用Ogg Vorbis编码,主讲：杨帆,第六章 视频信息处理技术,第46页/共86页,7．ASF/WMV格式,ASF（Advanced Streaming format） 微软公司推出的流式视频容器格式 文件类型标识为.ASF 可存储视频、音频、图像以及控制命令脚本等多媒体信息 支持任意的压缩/解压缩编码方式 既可用于本地播放，也可用于网络流式播放 WMV（Windows Media Video） 在ASF格式基础上推出的改进型流式文件格式和编码压缩方法 文件类型标识为.WMV 具有“数字版权保护”功能,主讲：杨帆,第六章 视频信息处理技术,第47页/共86页,6.5.1 视频卡的分类,1、按性能分类 广播级视频采集卡、专业级视频采集卡和普通视频采集卡三大类。,6.5 视频卡,主讲：杨帆,第六章 视频信息处理技术,第48页/共86页,2、按功能分类 （1）视频采集卡：可以从视频输出装置输出的模拟视频信号中实时或非实时地采集静态画面和动态画面，将它们转换为数字图像或数字视频存储到计算机中。,USB接口的视频采集装置,（2）视频输出卡：可以将计算机中的数字视频信号进行编码，转换成NTSC或PAL标准的电视视频信号，再输出到电视机中播放或录制到录像机的磁带中。 （3）TV卡：用来接收和采集电视节目的。,主讲：杨帆,第六章 视频信息处理技术,第49页/共86页,（4）压缩/解压缩卡：视频压缩卡可实现硬件对视频文件的实时或非实时压缩，而解压缩卡可将已经压缩的数字视频格式（如VCD或DVD）中的视频压缩文件进行硬件解压缩，还原成普通的数字视频并进行播放。 一个视频卡可同时具有压缩和解压缩功能。,,（5）数字视频卡： 实际上是一个数字接口——IEEE1394 可将数字摄像机拍摄的DV信息传输到多媒体计算机系统中，再配合其他的视频编缉软件，完成数字视频的编辑处理工作。,Osprey-2000视频卡,主讲：杨帆,第六章 视频信息处理技术,第50页/共86页,6.5.2 视频采集卡的组成与工作原理,从逻辑功能看，视频采集卡主要由视频接口、视频采集模块和视频处理模块等部件组成，如图6-12所示。,视频接口用来连接各类视频信号，如复合视频、S-Video、分量视频以及射频TV信号等。这些信号可来自不同视频源。具体使用时可通过视频软件选择所需的视频源。,6-12 视频压缩卡的逻辑组成,主讲：杨帆,第六章 视频信息处理技术,第51页/共86页,视频采集模块包括视频解码器、模数转换器、信号转换器三部分。视频解码器可将模拟视频信号解码为分量视频信号，如YUV分量。模数转换器（ADC）完成对分量视频信号的采集、量化等数字化工作。信号转换器完成将采集到的YUV分量信号转换成RGB信号。 视频处理模块是用于视频捕获、压缩与解压缩、显示等用途的专用控制芯片，主要功能可分为PC总线接口、视频输入剪裁、变化比例、压缩、解压缩、与VGA信号同步、色键控制以及对帧存储器的读／写和刷新控制。 当播放视频文件时，压缩的视频信息要经过解压缩过程，使其还原成原始图像信息后才能播放。对于较为简单的视频采集卡来说，压缩与解压缩功能一般通过软件来实现。,主讲：杨帆,第六章 视频信息处理技术,第52页/共86页,6.5.3 视频采集卡的技术特性,1、视频接口类型,一是采集卡与MPC连接的接口类型，采用32位的PCI总线接口，它插到PC机主板的扩展槽中，以实现采集卡与PC机的数据传输。 出现了USB接口的视频采集装置。 二是采集卡所提供的模拟视频源接口类型。复合视频接口或S-Video接口；TV采集压缩卡则至少要提供一个射频输入接口；高档采集卡还提供分量视频输入接口。,主讲：杨帆,第六章 视频信息处理技术,第53页/共86页,2、分辨率与帧频,不同等级的视频卡其分辨率和帧频参数不同，高档的视频采集卡在PAL标准下以25fps采样时，最高分辨率为720×576，在NTSC标准下以30fps采样时，最高分辨率为640×480或720×480。低档的视频采集卡一般为PAL标准352×288和NTSC标准320×240，帧频分别不超过25fps和30fps。,3、实时压缩,实时压缩是视频采集/压缩卡的重要技术指标之一，反映的是视频采集卡的处理速度。实时采集的关键在于每帧数据的处理时间。如果每帧视频图像的处理时间超过相邻两帧之间的相隔时间，则要出现数据的丢失，即丢帧现象。不同档次的采集卡具有不同质量的采集压缩性能。,主讲：杨帆,第六章 视频信息处理技术,第54页/共86页,6.6 非线性视频编辑,模拟视频编辑： 通过传统的模拟视频编辑设备 对录像带上的视频信息进行顺序剪辑和添加字幕、特效 线性编辑（Linear Editing）。 数字视频编辑： 以多媒体计算机为核心的数字化环境下 通过视频非线性编辑软件进行的多轨道视频编缉过程 非线性编辑（Nonlinear Editing）。,主讲：杨帆,第六章 视频信息处理技术,第55页/共86页,6.6.1 非线性编辑系统,● 刻录机,硬件部分： 高性能计算机 视频卡或IEEE1394卡 声卡 高速AV硬盘或磁盘阵列 专用板卡（如特技加速卡） SDI数字视频接口 其他外围设备,软件部分： 图像处理软件 声音处理软件 视频处理软件 二维动画软件 三维动画软件,主讲：杨帆,第六章 视频信息处理技术,第56页/共86页,6.6.2 非线性编辑软件,常见的视频处理软件： Adobe Premiere Adobe After Effect Ulead Media Studio Ulead Video Studio Ulead DVD Factory Ulead DVD Picture Show MS Windows XP捆绑的Movie Maker等,Adobe Premiere： 专业级视/音频非线性编辑软件 支持Windows和PowerMac两种平台 可与Adobe的其他软件（如Adobe After Effect）紧密集成 提供视频采集、素材管理、素材组装、字幕编辑、视频多轨编辑、音频多轨编辑、过度效果处理、视频效果处理、编辑预览、视频输出等非线性编辑功能,主讲：杨帆,第六章 视频信息处理技术,第57页/共86页,工作区,图6-14 Adobe Premiere Pro CS3的默认“编辑”界面,主操作界面组成：标题兰、主菜单、工作区、状态栏,主讲：杨帆,第六章 视频信息处理技术,第58页/共86页,与传统的线性编辑相比，非线性编辑具有以下特点： ① 是对数字视频文件的编辑和处理，可以随时编辑、重复编辑。 ② 对视频节目的编辑操作没有先后顺序要求。 ③ 非线性编辑的任何编辑操作（如剪辑、修改、复制、调动画面前后顺序等），都不会引起画面质量的下降。 ④ 编辑方便简单，音/视频对位准确，编辑效果丰富，编辑功能强大。 ⑤ 非线性编辑系统设备数字化、小型化、功能强，便于与其他非线性编辑系统或多媒体计算机系统连网，共享资源。,6.6.3 非线性编辑的特点,主讲：杨帆,第六章 视频信息处理技术,第59页/共86页,6.6.4 非线性编辑的相关概念,（1）文件： 所有编辑对象（素材）都以文件形式存储 按操作系统中的文件目录管理（树形目录管理）和文件访问控制方式（随机访问）进行文件管理和访问控制 主要用到两类文件，素材文件和工作文件 工作文件：包括用来记录编辑过程和编辑状态的项目文件和管理素材的库文件 素材文件：主要指各类素材，如静态图像、音频、视频、字幕、图形文件等,主讲：杨帆,第六章 视频信息处理技术,第60页/共86页,（2）项目（Project）： 是非线性视频编辑工作的管理模式 用来记录、保存、管理一个视频项目操作的全过程 Adobe Premiere Pro CS3中，项目是一个.Prproj类型的文件 （3）容器 ： 项目中的素材管理机制 （4）素材： 是非线性编辑操作处理的对象或结果 主要的素材形式有文本、静止图像、声音、视频、动画等。 （5）片段： 经过裁剪或添加了进出标记的素材称为素材片段。 （6）标记（Marker）： 置于数字视频或音频文件中，用作素材或序列的位置标识。,主讲：杨帆,第六章 视频信息处理技术,第61页/共86页,（7）轨道： 是非线性视频编辑的素材容器 分为视频轨道和音频轨道两类 （8）序列（Sequnce）： 要编辑形成的目标视频称为序列 由多个视频轨道和多个音频轨道组成 存放目标视频所需的各种素材 （9）时间码： 轨道中用来表示编辑点位置的时间标记 格式为hh（时）：mm（分）：ss（秒）：ff（帧） （10）视频合成： 将一路视频信号叠加在另一路视频信号上，合并成为单一视频文件的过程，因此也称视频叠加。,主讲：杨帆,第六章 视频信息处理技术,第62页/共86页,（11）透明： 必须设置上层轨道的透明属性，才能同时显示多轨道画面 （12）帧速率： 每秒播放的画面数,（13）宽高比： 帧宽高比：指视频图像的水平像素与垂直像素之比，用整数比表示 像素宽高比：指像素水平和垂直尺寸之比，用小数表示,主讲：杨帆,第六章 视频信息处理技术,第63页/共86页,（14）安全区： 保证视频画面在各种不同宽高比的显示设备上正常显示的区域 分为字幕安全区和动作安全区，用“回”字型表示。 （15）关键帧： 素材片断中人为确定的对画面效果变化起决定作用的帧 一个素材片断一般要确定两个以上（多个）关键帧 关键帧包含各类效果的参数设置，由人工完成 关键帧之间的效果参数变化由视频处理软件通过插值自动完成,主讲：杨帆,第六章 视频信息处理技术,第64页/共86页,主要内容可分为：视频内容编辑和视频效果编辑 1、视频内容编辑 将预先处理或搜集好的各种素材（文本、声音、图片、视频片段等），按照目标视频要求进行裁剪、组装、拼接、配音、添加背景音乐、添加字幕、混合等编辑处理，得到所要求的目标视频。 基本单位是帧 编辑环境是时间线（Time Line）与音视频轨道组成的时间线面板 基本编辑操作是在时间线上的素材中确定编辑点或编辑区域,6.6.5 非线性编辑的主要内容,主讲：杨帆,第六章 视频信息处理技术,第65页/共86页,时间线的时空大小通过“时间线缩放滑块”的左右移动来缩放 编辑操作通过“时间线标尺”准确定位到每一帧画面 这里所说的视频编辑操作也适合相应的声音信息,主讲：杨帆,第六章 视频信息处理技术,第66页/共86页,2、视频效果编辑 对已有的视频图像通过添加适当的艺术效果和特技镜头，刺激人们的视觉感官以达到准确反映内容和渲染、夸张的效果。 非线性编辑系统提供的效果一般分为“音频特效”、“音频切换效果”、“视频特效”和“视频切换效果”四大类如图6-16（a） 视（音）频特效作用于整个视（音）频素材片段，通过关键帧设置效果，通过添加/删除关键帧实现效果变化，从而实现对整段素材的效果控制； 视（音）频切换效果又称过渡效果，一般用于相邻场景的变换。,主讲：杨帆,第六章 视频信息处理技术,第67页/共86页,Adobe Premiere Pro CS3中，提供了17大类130多种视频特技效果和提供了10大类共71种场景过渡效果。,主讲：杨帆,第六章 视频信息处理技术,第68页/共86页,6.6.6 非线性编辑的基本过程,以Adobe Premiere Pro CS3为例，非线性视频编辑的基本过程可分为： （1）建立或打开项目 （2）素材的采集与导入 （3）素材编辑 （4）字幕制作 （5）素材组装 （6）切换效果与视频特效处理 （7）作品输出等七大环节,主讲：杨帆,第六章 视频信息处理技术,第69页/共86页,1、建立或打开项目,新建项目的主要工作：定义（或选择）项目中的各类参数，指定项目的存储位置以及项目文件名。 项目参数包括：常规参数、采集参数、视频渲染参数和默认序列参数 常规参数的具体内容如图6-17所示。 采集参数设置：选择“采集格式”； 视频渲染参数设置：指定输出文件格式、压缩格式和颜色深度等 默认序列参数设置：指定序列中的“默认视频轨道数”、不同音效（单声道、立体声、5.1）的“默认音频轨道数”等。,主讲：杨帆,第六章 视频信息处理技术,第70页/共86页,主讲：杨帆,第六章 视频信息处理技术,第71页/共86页,2、素材的采集与导入,通过非线性编辑系统将模拟视音频的信号转换成数字信号并储存到计算机中，或将外部DV数字视频直接传输到计算机中，使其成为数字化的视音频素材。 Adobe Premiere Pro CS3 中的采集窗口如图6-18所示。,