1、多媒体技术与通信,上海大学通信与信息工程学院2014年9月,第四章多媒体信息处理技术,提要,4.1 音频信息处理技术 4.1.1 数字音频技术 4.1.2 声卡的工作原理 4.1.3 声卡的选购 4.1.4 声卡的发展趋势4.2 视频信息处理技术 4.2.1 视频技术基础 4.2.2 数字视频技术 4.2.3 视频信息获取 4.2.4 视频采集卡的工作原理 4.2.5 现有视频采集卡简介,2018年9月24日,3,4.1 音频信息处理技术,4.1.1 数字音频技术 1.声音特性 声音是由于物体的振动影响周围的空气使其产生疏密变化而形成的声波声波的特征：频率、幅度频率在20Hz20kHz的声波，
2、人耳可以听得到，称为音频波人说话的声波频率范围为3003000Hz，通常称为语音信号频率低于20Hz的声波称为次音波频率高于20kHz的声波称为超音波多媒体计算机中的声音主要指音频波,2018年9月24日,4,1. 声音特性,声音的三要素:音调、音强、音色 音调：频率高则音调高 音强：又称为响度，取决于声音的幅度 音色：是由混入基音的泛音所决定的 通过声波到达左右耳的相对时间差、声音强度，能够判别出声音的来源方向,2018年9月24日,5,1. 声音特性,声音的质量与其频率范围有关，声音一般可分为数字激光唱盘(简称CD-DA，频率范围为1020000Hz）调频无线电广播(简称FM，频率范围为2
3、015000Hz)调幅无线电广播(简称AM，频率范围为507000Hz)电话(频率范围为2003400Hz),2018年9月24日,6,4.1.1 数字音频技术,2.音频处理基础 计算机获取声音主要有两种：由语言或音乐合成器合成的声音另经过采集、量化，模转数，压缩编码，需要时解压、数模转换后还原为声音 （1）模拟音频 （2）数字音频,2018年9月24日,7,2.音频处理基础,（1）模拟音频模拟音频技术是将声波转换成电信号，使电信号的变化正比于声音的强弱易受存储媒体的电磁性能影响，声音保真性差，动态范围小,2018年9月24日,8,2.音频处理基础,（2）数字音频将音频文件转化成二进制数据保存
4、，播放时数据转换为模拟的电平信号播出 特点：存储方便，存储成本低廉，没有声音的失真，编辑和处理非常方便,2018年9月24日,9,2.音频处理基础,模拟音频数字化的过程1)采样 采样：每隔一定的时间间隔T，在模拟声音波形上取一个 幅度值 周期：采样的时间间隔 采样频率：周期的倒数 CD音乐的标准采样频率为441kHz，最常用的采样频率 计算机上的DVD音效则为48kHz(经声卡转换) 电台FM广播为32kHz,2018年9月24日,10,2.音频处理基础,模拟音频数字化的过程2)量化 量化：把某一幅度范围内的采样值用一个二进制数表示采样和量化：模拟音频转换成数字音频模数转换器(AD)数字音频回
5、放：数模转换器(DA) 计算机对声音数字化的能力用两个参数来衡量采样频率量化位数,2018年9月24日,11,2.音频处理基础,模拟音频数字化的过程2)量化 采样频率、量化位数也是声卡的主要指标 声卡的量化位数：声卡处理声音的解析度，单位：位(bit)CD音乐的质量就是16位216=65536个不同的量化值声音范围:极细微的声音到巨大噪声主流产品：16位的声卡，已经绰绰有余了,2018年9月24日,12,2.音频处理基础,模拟音频数字化的过程2)量化 数字音频文件的数据量(单位为Bs)计算公式 数据量=(采样频率量化位数声道数)8 常用的采样频率和量化精度如表所示：,2018年9月24日,13
6、,2.音频处理基础,(3)音效 声道数是用来表明声音记录时产生的波形文件的数量 立体声(双声道)技术：在录制过程中被分配到两个独立的声道，达到了很好的声音定位效果环境音效：利用不同的演算方式将声音仿真成不同环境中的效果,2018年9月24日,14,4.1.2 声卡的工作原理,声卡完成从模拟音频到数字音频的模数转换以及将离散的数字音频转变为连续的模拟音频的数模转换过程，对音频信息进行记录、存储、处理和播放 1. 声卡的主要功能(1)录制、编辑和回放数字音频文件，以及控制混合各声源的音量 (2)MIDI与音乐合成(3)文语转换和语音识别 (4)具有记录和回放数字音频文件时的压缩和解压缩功能,201
7、8年9月24日,15,1. 声卡的主要功能,(1)录制、编辑和回放数字音频文件，以及控制混合各声源的音量特殊效果处理倒播增加回音淡入淡出剪辑 音效为单声道或立体声,2018年9月24日,16,1. 声卡的主要功能,(2) MIDI与音乐合成 MIDI(Musical Instrument Digital Interface)乐器数字接口的标准。MIDI文件：一种描述性的“音乐语言”，它将所要演奏的乐曲信息用字节表述，文件小巧。包含有键、通道号、音量、力度和持续时间等每个音符的信息,2018年9月24日,17,1. 声卡的主要功能,(2) MIDI与音乐合成声卡的复音数是指在同一个时间内可以发出
8、的MIDI乐器声音数量与两部分有关硬件部分，是指音效芯片最多可同时处理多少个MIDI乐器的信号软件部分，普通的软件音源能提供的同时发声数为641024个,2018年9月24日,18,1. 声卡的主要功能,(2) MIDI与音乐合成声音的合成技术主要有两种，调频(FM)类型运用特定的算法来简单模拟真实乐器声音让人听出来是“电子音乐” Wave Table(波表)类型Wave Table合成是利用数码拟合技术，将各种乐器的真实声音采样后再将样本存储在声卡的EPROM中，当需要某种乐器的某个音色时，就到EPROM中查询该乐器的有关数据，运算后经过声卡的芯片处理合成所需要的声音合成声音自然、逼真，但占
9、用存储空间较大,2018年9月24日,19,1. 声卡的主要功能,(3)文语转换和语音识别 语音识别技术就是让机器通过识别和理解将语音信号转变为相应的文本或命令的技术 语音识别系统组成语音特征提取声学模型与模式匹配语言模型与语言处理语音特征提取提取语音特征序列，产生声学模型，进行匹配与比较，得到识别结果。当分类发生错误时可以根据语言学模型和语言处理算法进行修正,2018年9月24日,20,1. 声卡的主要功能,(3)文语转换和语音识别 语音识别技术实用化的关键之一是语音识别专用集成电路芯片(ASIC) 应用：语音拨号电话机、汽车语音识别系统 还需克服用户独立性和对自然语言识别以及软件身份验证能
10、力等一系列的技术难关,2018年9月24日,21,1. 声卡的主要功能,(4)具有记录和回放数字音频文件时的压缩和解压缩功能 占用大量的存储空间如441kHz采样、16位量化的立体声，每秒占用1764KB的存储空间 典型的压缩编码方法：脉冲编码调制(PCM) 可以实现瞬时的数据压缩与还 原，信噪较高自适应差分脉冲编码调制(ADPCM)差分脉冲编码调制(DPCM)，利用过去样本来预测下一个样本的信号幅度，称为预测值。ADPCM可根据输入信号的性质自动改变量化位的大小以及自适应预测器的工作 MPEG编码方法,2018年9月24日,22,4.1.2 数字音频技术,2声卡的分类 根据其数据采样量化位数
11、的大小，可分为8位、16位和32位声卡 从硬件技术角度出发，又可分为以下3类 (1)以DSP技术为基础的声卡 (2)硬件声卡 (3)结合以上两类声卡，采用有限可编程控制器,2018年9月24日,23,2声卡的分类,(1)以DSP技术为基础的声卡 控制不依赖主机而自行完成，减轻CPU负担。典型产品如采用EMUl0K1系列芯片的声卡 ，特点：采用了8点内插运算功能，所以音质极佳 算法比较简单，所以MIDI的合成能力无法与专业软波表相比,2018年9月24日,24,2声卡的分类,(2)硬件声卡 采用CODEC芯片，控制声音的采样与回放，而其他的控制全部由CPU来完成，占用较多的主机时间，但成本较低
12、典型产品如Vortex U8820,2018年9月24日,25,2声卡的分类,(3)结合以上两类声卡，采用有限可编程控制器 具有一定能力的自管功能，又不至于成本太高、结构太复杂典型产品如Vortex2 AU8830的特点:内部的数流总线(VDB) 两个32位复音处理单元不是DSP，无法通过软件升级,2018年9月24日,26,2声卡的分类,代表性的声卡产品及其性能指标,2018年9月24日,27,4.1.2 数字音频技术,3声卡的工作原理 主要由数字信号处理器、混音器和合成器组成,2018年9月24日,28,声卡的工作原理,（1）数字信号处理器 对麦克风等线性输入及MIDI操作进行管理 程序控
13、制幅度 抗混滤波器滤除混叠噪声 DSP处理器进行ADPCM压缩，以DMA传送方式 输出的过程与输入相反,2018年9月24日,29,声卡的工作原理,（2）混音器 对数字化声音(DAC)、调频(FM)、CD-Audio音频、线性输入(AUX)、话筒输入(MIC)、PC扬声器输出(SPK)进行混音，并通过IO端口(地址和数据端口)对混音器的各种功能进行可编程设置可以进行的设置有以下几个方面：1)数字化的音量 5)总音量输出，控制表现效果2)FM音量 6)选择IO模式(单声道/立体声)3)CD-ROM音量 7)选择、组合声音输入源4)线性输入和话筒输出音量 8)选择IO滤波器,2018年9月24日,
14、30,声卡的工作原理,（2）混音器混音原理框图如图所示,2018年9月24日,31,声卡的工作原理,（3）合成器 通过内部合成器或通过外部到主机MIDI端口的外部合成器播放MIDI音乐合成器有两种:频率调制合成器(FM合成器)波表合成器,2018年9月24日,32,声卡的工作原理,（3）合成器FM合成器原理如图所示 由许多操作单元构成，每一个操作单元又由一个调制单元和载波单元组成每个调制单元和载波单元都有脉冲发生器、包络发生器和正弦表3个功能模块。 频率取决于脉冲发生器，而振幅取决于包络发生器 通过改变调制单元的频率和振幅，就可以改变FM合成器产生的声音音质,2018年9月24日,33,声卡的
15、工作原理,（3）合成器 FM合成器中除操作单元外，还内置一个颤音振荡器和振幅调制振荡器，产生颤音和震音，更接近自然乐器的声音 在以下3种情况下使用MIDI谱曲更合适: 1) 长时间高质量 2) 以音乐作为背景，同时装载其他数据 3) 以音乐作为背景，同时播放波形音频或实现文语转换 思考：MIDI和WAV音频的各自特点?,2018年9月24日,34,4.1.3 声卡的选购,声卡的选购技术指标 (1)采样频率和量化位数 (2)合成器:取决于合成的方法(3)MIDI接口 (4)DSP芯片 (5)信噪比(SNR)和总谐波失真(THD) SNR分贝越高，干扰越小， THD失真越小越好(6)输入输出设备的
16、支持及全双工功能 全双工功能是指声卡能同时录音和放音,2018年9月24日,35,4.1.3 声卡的选购,声卡的选购技术指标(7)三维音效(8)即插即用 (9)兼容性 符合统一标准或兼容主要声卡标准流行、较有影响的：新加坡Creative Labs公司的声霸卡Sound Blaster系列 (10)软件支持 有DOS和Windows下的驱动程序、软件混频器和CD唱盘播放程序等,2018年9月24日,36,4.1.4 声卡的发展趋势,声卡的企业标准比较多，还没有形成统一的国际标准，暂以MPC Level 3作为标准要求。1统一标准 现阶段声卡的标准主要有Adlib、Sound Blaster和S
17、ound Blaster Pro、Microsoft Windows Sound System 2.0、MPC Level 2、MT32等，统一声卡标准是大势所趋 2简化安装 以前声卡的安装要由用户自己设置I/O端口基地址、DMA通道号、IRQ号等，,Microsoft和Intel公司联合制定了ISA总线的即插即用标准，简便化也是其发展的主要方向,2018年9月24日,37,4.1.4 声卡的发展趋势,3改善音质和3D环绕立体声 应具有优良的信噪比和较高的量化级。DSP中增加动态滤波去噪功能 ，3D音效使音响效果更加逼真。3D环绕立体声音效主要基于Osound技术和SRS技术： Qsound技
18、术控制左右音箱的发声过程，变换时间顺 序；SIRS技术在空间交叉形成多个虚拟音源，模拟声音 在各种吸收反射和漫反射等传输效果 。,2018年9月24日,38,4.1.4 声卡的发展趋势,4与通信技术相结合 在声卡中加上Modem和传真的功能是声卡的发展趋势 5单一芯片 将声卡中的DSP芯片和合成器芯片等主要部件集成到一个芯片中并成为计算机主板的组成部分,2018年9月24日,39,4.2 视频信息处理技术,4.2.1 视频技术基础 信息85以上是通过视觉来获得的 视频信息的处理主要包括视频图像的获取、压缩、存储和检索，各种编码、变换和传输技术等 数字视频技术包含两种情况将模拟视频信号输入计算机
19、进行数字化视频编辑，最后制成数字视频产品从信号源开始就是数字化的视频信号，经过编辑之后制成产品,2018年9月24日,40,4.2.1 视频技术基础,数字化是把连续的图像函数f(x，y)进行空间和幅值的离散化处理，空间连续坐标(x，y)的离散化，叫做采样，f(x，y)颜色的离散化称为量化。 在多媒体计算机技术中，用得最多的是RGB彩色空间表示，配色方程F=rR+gG+bB ，其中，r、g、b为三色系数 彩色图像成像过程如图所示,2018年9月24日,41,4.2.1 视频技术基础,混合格式就是利用人的视觉对亮度的敏感远大于对色度敏感的特点，将彩色信号分为亮度和色度两部分：亮度是一个单色视频信号
20、，仅用于控制图像的亮度。色度则仅包含图像的彩色信息，由两个色差信号组成。 混合编码的基本原理就是将RGB三基色信号通过一个线性变换矩阵转换为YUV或YIQ彩色空间。Y为亮度信号，u、v或I、Q为色差信号,2018年9月24日,42,4.2.1 视频技术基础,世界上主要有NTSC、PAL和SECAM(法国制定，为东欧国家所采用)三种彩色制式 NTSC彩色制式是由美国在1952年制定，美国、日本和其他一些西方国家采用 亮度信号为Y信号，两个色度信号为I和Q 1962年制定了PAL制式，我国及英国采用这种制式PAL与NTSC制式的主要区别在于色度信号的编码，两个色度信号分别为u和V 我国使用彩色电视
21、PAL-D制式,2018年9月24日,43,4.2.1 视频技术基础,在彩色电视中采用亮度和色差信号有两个重要优点：亮度和色差信号是独立的，因此彩色电视和黑白电视可以同时使用 人眼对彩色图像细节的分辨本领比对黑白的低得多,2018年9月24日,44,4.2.2 数字视频技术,1视频信息的数字化 视频的数字化有复合编码和分量编码两种方法：复合编码是直接对复合视频信号进行采样、编码和传输。分量编码是先将复合视频信号分离成亮度和色差，然后采用3路AD对分离出的信号分别进行数字化，再对亮度和两种色差信号进行编码，现已成为主要的视频数字化方法，其原理如图所示。,2018年9月24日,45,4.2.2 数
22、字视频技术,2视频信息的采样格式 视频信息的采样格式通常用“Y:U:V”的形式来表示。常见为4:1:1、4:2:2和4:4:4三种格式，如图所示,2018年9月24日,46,a)4:1:1,b)4:2:2,c)4:4:4,4.2.2 数字视频技术,3数字视频标准1982年国际无线电咨询委员会(CCIR)制定了CCIR601建议采用共同的数字化参数,以Y、U、V的分量作为演播室的编码方式，采用13.5:6.75:6.75(MHz)，也就是以4:2:2格式作为技术标准，量化为8位.如表所示数码率 r=(13.5+6.75+6.75)MHz8bit=216Mb/s,2018年9月24日,47,4.2
23、.2 数字视频技术,3数字视频标准欧洲建议数字视频的Y、U、V分量采用3:l:1的格式，相应的采样频率为10.125 MHz(13.534)、3.375 MHz(6.752)、3.375 MHz(6.752).而且U、V两个分量还可以采取轮换传输的方法 数码率 r=(10.125+3.375+3.375)MHz8bit=108Mb/s 数码率降低了一半，节省了带宽,2018年9月24日,48,4.2.2 数字视频技术,4VGA显示单色显示器(MDA)彩色显示器(CGA） (320200)增强型图形显示器(EGA)视频图形阵列显示器(VGA)超级VGA(SVGA) 视频卡向SVGA发出的信号有两
24、类:同步信号:同步信号分行同步和帧同步亮度信号:亮度信号为RGB三色的亮度分量,2018年9月24日,49,4.2.2 数字视频技术,4VGA显示计算机与电视存在一定的差别 （1）显示信号有较大的差别SVGA只能使用RGB信号 （2）行扫描频率不同 （3）场扫描频率不同,2018年9月24日,50,4.2.3 视频信息获取,计算机图像获取方法有 用计算机产生 用彩色扫描仪输入彩色扫描仪最高分辨率已达到4000dpi(Dots Per Inch)，颜色分辨率可达24位(R:G:B=8:8:8) 用视频信号数字化仪,2018年9月24日,51,4.2.4 视频采集卡的工作原理,视频采集卡又称为视频
25、信号获取器分为:广播级专业级民用级主要区别是采集的图像指标不同,2018年9月24日,52,4.2.4 视频采集卡的工作原理,广播级最高采集分辨率一般为720576(CCIR-601建议)25帧s(PAL制)，或64048072048030帧/s(NTSC制)最大压缩比一般在4:l以内 带分量输入输出接口，用于电视台的节目制作缺点：文件庞大 专业级 动态分辨率一般最大为38428825帧/s(PAL制)压缩比一般在6:1以内输入输出接口为AV复合端子与S端子适用于制作多媒体广告、节目和软件,2018年9月24日,53,4.2.4 视频采集卡的工作原理,总体框图如图所示:模拟视频信号经过AD变换
26、，送到数字解码器,解码得到Y、U、V数据由视频窗口控制器剪裁和比例变换后存入帧存储器 视频窗口控制器控制其读、写、刷新以及与VGA同步信号操作送到DA变换器和模拟彩色空间变换矩阵，完成从Y、U、v到R、G、B的转换,2018年9月24日,54,4.2.4 视频采集卡的工作原理,1视频信息的数字化 编程选任一个作为输入，送运算放大器，经AD变换成8位数字信号，送数字解码器解码，输出的Y、U、V信号有4:l:1和4:2:2两种格式,2018年9月24日,55,4.2.4 视频采集卡的工作原理,2窗口控制器主要功能:PC总线接口 总线控制接口包括： 帧存储器地址 IO寄存器地址映射 帧存储器的读写、
27、刷新操作控制视频输入剪裁、比例变换根据用户的定义确定要捕获图像的范围输出窗口VGA同步、色键控制保证帧存储器中的数据能够与VGA的视频信号同步输出视频帧存储器VRAM读、写、刷新控制,2018年9月24日,56,4.2.4 视频采集卡的工作原理,3帧存储器 存储器的主要作用：数字视频信号实时存储到帧存储器供彩色监视器实时地从帧存储器中取出每一个像素数据输出到监视器计算机对帧存储器的内容进行读写操作，并完成处理任务,2018年9月24日,57,4.2.4 视频采集卡的工作原理,4DA转换和矩阵变换 DA转换器一般是YUV方式的视频转换器，由矩阵变换器对亮度和色度信号进行处理，输出RGB信号。5数
28、字视频信号编码及叠加 多制式数字视频信号编码器的输入数据可以是YUV或RGB。编码后的数字信号经内部DA转换后输出模拟视频信号供TV显示。,2018年9月24日,58,4.2.5 现有视频采集卡简介,按连接方式可分为：外置式优点：安装简单，干扰少，性能稳定，可以在不打开 计算机,收看电视节目 。缺点：价格比较贵，外接专门的电源，占用计算机上 的一个并行口 。内置式 （推荐选用PCI接口）优点：价格便宜，不需外接电源，实现多任务操作。 缺点：易受到电磁干扰，安装麻烦，只能在打开计算. 机的前提下才可收看电视节目,2018年9月24日,59,视频卡的相关产品,(1)Studio Pctv 德国mi
29、ro公司的多功能视频卡，集电视卡、视频采集卡于一身 (2)Aver TV Genie 圆刚公司的电视外置接收盒，即插即用，不需要软件支持，实现大部分普通电视机的基本功能 (3)TV Wonder ATI的产品，有画面缩放功能 (4)Video Blaster MovieMaker 创新科技的新产品，外置式 ，可转换成MPEGl、MPEG2或VCD格式，转换影像的过程中加入任何声音或语句 思考：计算机数字影像在TV上如何实现播放？,2018年9月24日,60,本章总结,小结 多媒体信息处理技术，包括音频和视频信息的数字化 模拟音频的数字化要在声音文件大小和回放质量之间进行权衡 利用声卡可以模数转换以及数模转换过程，对音频信息进行记录、存储、处理和播放。 视频信息处理技术是多媒体系统共性技术，主要包括视频图像的获取、压缩、存储和检索，各种编码、变换和传输技术等。 彩色空间转换和视频信息的传输技术以及视频采集卡的工作原理进行比较详细的介绍。,2018年9月24日,61,本章总结,习题 简述MIDI的概念以及MIDI文件与波形文件的区别。 声卡的主要功能有哪些?声卡的选购标准主要包括哪些内容?,2018年9月24日,62,The End,
