1、一、 概述 多媒体技术：以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并建立起有机的逻辑联系，集成为一个系统，具有良好交互性的技术。多媒体通常指多媒体技术 国际电信联盟 ITU 将媒体分为哪几类？五类：1） 感知媒体：人的直观感受，如文本、视频、音频等2） 表示媒体：各种编码，如图像编码、声音编码3） 表现媒体：再现信息的物理设备，如显示器、扬声器4） 存储媒体：保存表示媒体的介质，如磁盘5） 传输媒体：媒体传输用的物理载体，如光纤、电缆交换媒体：用来传输信息的数据媒体，即所有的存储媒体和传输媒体。 多媒体技术主要的处理对象有哪些？分别举出一种文
2、件格式文本（.txt ） 、图形（ ai/svg/swf） 、图像（bmp/tif/tga/gif/jpg） 、音频（wav/voc/mid） 、动画（flc/mmm） 、视频（avi/mpg/mov）（了解）文本：包括非格式化文本如.txt 和格式化文本如.doc图形：抽象，如正方形；图像：设备捕获的实际场景，如照片音频：波形声音（包含所有声音形式） 、语音和音乐（符号化了的声音）动画：有帧动画和造型动画视频：帧连续播放 为什么在多媒体技术中主要处理视频和音频信号多媒体计算机的关键技术是解决视频、音频信号的获取和处理，包括多媒体数据的压缩编码和解码技术以及多媒体数据的输出技术。主要应用于通信
3、、娱乐和计算机的融合，为解决电视数字化及高清晰度提供了切实可行的方案。多媒体计算机可制作 DVD 及影视音响设备，以及制作多媒体家庭网关。 多媒体技术有哪些重要特性？信息载体的多样性、交互性、集成性。 多媒体技术的研究内容有那些？1) 视频音频数据压缩/解压缩技术 2) 多媒体专用芯片技术3) 大容量信息存储技术4) 多媒体输入和输出技术5) 多媒体软件技术：多媒体操作系统、多媒体素材采集与制作、多媒体编辑与创作工具、多媒体数据库技术、超文本/超媒体技术、多媒体应用开发技术6) 多媒体通信技术7) 虚拟现实技术 举例说明多媒体技术的应用。1） 教育与培训方面：制作的课件更加生动、形式多样2）
4、通信方面：可视电话、视频会议等3） 其他方面：出版业电子读物、为各类咨询提供服务。二、 多媒体系统如果你要研发一个多媒体项目，应该如何组织和实施？所需技术和能力：硬件（输入输出设备等） 、软件（图像、视频、音频等处理软件）技术（计算能力、网络通讯、压缩） 、组织（人员、文件等）阶段：规划（形成想法、确定目标和用户、确定技术资源、开发小的原型）设计和生产（执行计划、创建产品、根据反馈修改产品）测试发布www、超媒体、多媒体之间的关系。超媒体：超文本是一种新颖的文本信息管理技术，通过节点和链接（超链接）建立各种媒体信息之间的网状链接结构。当超文本中的节点数据不仅是文本，而是图像、动画、音频等多媒体
5、元素时，就成为了超媒体。 （超链接：对象之间或者文档元素之间的链接。 ）www： world wide web，万维网，也称为超媒体环球信息系统，是一个在因特网上运行的全球性分布式信息系统，目前最大的多媒体系统。什么是 HTML? XML? XHTML? 它们与 SGML 有什么关系?SGML：Standard Generalized Markup Language,标准通用标记语言，是一个信息管理方面的国际标准。该标准定义了独立于平台和应用的文本文档的格式、索引和链接信息，为用户提供一种类似于语法的机制，用来定义文档的结构和指示文档结构的标签(tag)。可拓展性好，但是比较复杂。HTML：
6、HyperText Markup Language,超文本标记语言，用来创作 web 页面的描述语言。是从 SGML 语言导出的语言，是 SGML 的一个子集。可拓展性差，但是简单易用XML：eXtensible Markup Language，可拓展标记语言，由 W3c 发布的标准，是 SGML 的一个简化而严格的子集。XHTML：eXtensible HyperText Markup Language，可拓展超文本标记语言，是以 XML 重构的 HTML4.01。HTML 是一种基于 SGML 的应用，而 XHTML 则基于 XML，是 SGML 的一个子集什么是 SMIL?SMIL：Sy
7、nchronized Multimedia Integration Language 同步多媒体集成语言，是一种基于 XML 语法的文本标记语言，描述各种媒体之间的时间同步关系和空间排布关系，是对多媒体素材的有机的、智能的组合。在 HTML 的布局标记之外提供了一系列时序标记。什么是 VRML？VRML：Virtual Reality Modeling Language 虚拟现实造型语言，是一种用来描述万维网页面上 3D 对象和交互环境的文件格式，集文字、图形、图象、三维动画和声音于一体，为操作者提供一个交互的、界面友好的、开放式的虚拟环境。如何在网页中加入声音、图像、视频链接？Html5：
8、流媒体、流媒体技术流媒体(Streaming Media)是指在网络中使用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。 流媒体技术就是把连续的影像和声音经过压缩处理后放在网站服务器上，让用户边下载边观看和收听，而不需要等整个文件全部下载完毕后才观看流式传输有两种方法：实时流式传输和渐进流式传输三、 数字声音 人能够听到的声音频率范围是什么？人能发出的的声音频率范围是什么？可听音(Audio)信号：频率范围为 20Hz20kHz 的信号话音(speech)信号：频率范围为 300Hz3400Hz 的信号；全频带声音 20Hz-20kHz 声音数字化的两个步骤是什么？1) 数字化(dig
9、itization) ： 采样量化， 声音进入计算机的第一步处理。采样（sampling)：连续时间的离散化。若每隔相等的一小段时间采样一次，称为均匀采样。量化(quantization)：连续幅度的离散化，把信号的强度划分成一些小段。如果幅度的划分是等间隔的，就称为线性量化，否则就称为非线性量化。2) 编码： 压缩量化后的数据， 不同的编码方式得到的数据量也不相同。 确定信号采样频率的原则是什么？Nyquist 定理（采样定律）：采样频率不应低于声音信号最高频率的两倍（Nyquist 采样频率） ，这样就能把以数字表达的声音无损失地还原成原来的声音。 fs 2f 或者 TsT/2， 其中 f
10、 为被采样信号的最高频率。电话：8k 普通：44.1k HzNyquist 频率=1/2 Nyquist 采样频率 常见的声音质量有哪几种？电话(telephone)调幅(amplitude modulation， AM)广播调频(frequency modulation， FM)广播激光唱盘(CD-Audio)数字录音带(digital audio tape， DAT) 什么是 midi？有什么特点？MIDI (Musical Instrument Digital Interface)电子乐器数字接口， 是在音乐合成器(music synthesizers)、乐器(musical instr
11、uments)和计算机之间交换音乐信息的一种标准协议。1. MIDI 文件存储的是命令，而不是声音波形，生成的文件比较小2.容易编辑3.须通过一个合成器来演奏， 声音的质量取决于合成器的质量。 4.可以作背景音乐， MIDI 音乐可以和其它的媒体一起播放， 加强演示效果。（了解） 给定采样频率、量化精度、通道数、采样时间，计算在没有压缩的情况下数字化声音所需要的存储量。数据率 = 采样频率 x 量化位数 x 通道数目 （kbps ） 数据量 =数据率 x 持续时间 CD 音质的一分钟声音，双声道、16 位量化位、采样频率为 44.1kHz，数据量为多少？如果一张 CD 的容量为650MB，则大
12、概能容纳多少分钟的数据？假设将 CD 数据压缩成 MP3，数据率为 128Kbps，则压缩率为多少-1 分钟的总数据量：44100 2 Byte2 60s = 10336 KB (10MB)其他：SNR（信号噪声比）= SQNR（信号量化噪声比）：最差= = 6.02N（dB）声音的基本属性：音调、响度、音色char4 图形图像 给定图像分辨率、图像类型，计算在没有压缩的情况下所要的存储空间。在用扫描仪扫描彩色图像时，通常要指定图像的分辨率，用每英寸多少点(dots per inch， DPI)表示。如果用 300 DPI 来扫描一幅 8 10的彩色图像，就得到一幅 24003000 个像素的
13、图像。一幅彩色图像,大小是 8x 6, 分辨率是 300 DPI, 每个像素可能有 256 种颜色，如果不压缩，这幅图像占用多少存储空间？Solution: 8x6x300x300x8/8 =4320000 Bytes 若采用 1024768 显示分辨率,3Byte/象素，则满屏图像的总数据量是多少 MB？10247683= 2304KByte =2.3MB 传真数据如果只传送 2 值图像，以 200dpi 的分辨率传输，一张 A4（210mm*297mm=8.27inch*11.7inch）稿纸的内容的数据量是多少 KB？1654*2337*1=483KB 什么是真彩色？什么是伪彩色？真彩色
14、(True Color)：指在组成一幅彩色图像的每个像素值中， 有 R， G， B 三个基色分量， 每个基色分量直接决定显示设备的基色强度。伪彩色 Pseudo color 每个像素的颜色不是由每个基色分量的数值直接决定，而是把像素值当作彩色查找表 CLUT的表项入口地址，去查找一个显示图像时使用的 R， G， B 强度值。（了解）如果用 RGB8:8:8 方式表示一幅彩色图像，就是 R，G ，B 都用 8 位来表示，每个基色分量占一个字节，可生成的颜色数就是 22416777216 种。这种图像也称为全彩色(fullcolor)图像 什么是颜色查找表？有什么作用？彩色查找表 CLUT(col
15、or look-uptable)也称为： colormap（颜色图） , palette（调色板）是一个事先做好的表，表项入口地址称为索引号，根据该索引号可查找出包含实际 R、 G、 B 的强度值。节省空间。6. 按照生成图像的方法，图像分为哪两类？各有什么特点？矢量图（ vector based image，一般称为图形）用一系列计算机指令来表示一幅图优点：1）缩放、旋转、移动时不会失真，与分辨率无关 2）存储和传输时数据量较小。缺点：1）图像显示时花费时间比较长 2）真实世界的彩色图像难以转化为矢量图。点位图（ bitmapped image）一幅图由许多描述每个像素的数据组成优点：1）显
16、示速度快。2）真实世界的图像可以通过扫描仪、数码相机、摄像机等设备方便地获取缺点：1）存储和传输时数据量比较大。 2）缩放、旋转时算法复杂且容易失真。7.为什么要进行伽马校正？图像在显示时，图像文件中的 RGB 数值被转换回模拟喜好并驱动 CRT 中的电子枪。电子的发射与驱动电压成比例，并且我们希望 CRT 系统产生的光纤与电压线性相关，而实际上，CRT 产生的光线与电压的指数大致成正比。 （如果文件在红色通道的值是 R，则屏幕发射的光线与 成正比）因此需要进行伽马矫正来获得“线性信R号” 。 （通常通过实施反变换来（预）修正。 ）8. Gif 图像能表示的颜色数量是多少？为什么可以用 Gif
17、 制作简单的动画？最多 256 色Gif 图像文件以块为单位存储信息，一个 gif 文件由表示图形/图像的数据块、数据子块以及显示图形/图像的控制信息块组成，称为 GIF 数据流，信息控制块和数据块位于文件头和文件结束快之间，并且可以重复 n 次，因此gif 格式可以在一个文件中存放多幅彩色图像制作出幻灯片或动画效果。（了解）(1)GIF 文件采用了 LZW 无损压缩算法来存储图像数据。(2)GIF 文件允许设置背景的透明属性。(3)GIF 文件格式可在一个文件中存放多幅彩色图像并且制作出幻灯片或者动画效果。(4)GIF 文件支持图像数据的交叉存储方式，这样一个大的图像可以逐步显示，让用户首先
18、看到图像概貌，然后逐步清晰。(5)GIF 文件定义的图像中可以加入文本。9.目前常见的浏览器支持哪些图像格式？任何浏览器都支持 gif,bmp,jpg 这三种最常用的图片，最新照相机照出来的都是 jpg 这种图片，这是因为 jpg 图片压缩率高，又可以不失原图片的清淅度。gif 是动画图片格式。bmp 文件一般比较大。支持 flash 动画，后辍名为 swf.用 Macromedia 公司出品的网页三剑客其中的 flash 制作工具制作的。视频格式支持 wmv,flv,现在各大视频网站基本上都是用的 flv 格式的。其他：图像的基本属性：分辨率、像素深度（存储每个像素所用的位数）Svg ：基于
19、 XML 的矢量图形语言JPEG：Joint Photographic Experts Group，Group ，ISO 和 IEC 两个组织机构联合组成的一个专家组，负责制定静态数字图像数据压缩编码标准。char5 颜色 可见光的波长范围是多少？可见光： 380nm780nm 人感知的颜色与哪些因素有关？颜色与光、 被光照射的物体、 观察者（人眼的视觉功能）有关。 颜色的三要素是什么？亮度（ Luminance）：表示某种颜色在人的视觉上引起的明暗程度，与光的强度有关色调（Hue）：表示光的颜色，由光的波长的决定饱和度（ Saturation）：也称为纯度或彩度，指彩色的深浅或鲜艳程度，通常
20、指彩色中白光含量的多少。当一种颜色渗入其他光成分愈多时，颜色愈不饱和。 人眼的视网膜上有哪些细胞？分别起什么作用?柱状细胞： 灵敏度高，能感受极微弱的光，主要分布于视网膜的周边地区，主要负责暗视觉。锥状细胞：灵敏度较低，但能很好地区别颜色，主要集中于视网膜的中央凹，主要负责明视觉。 画出 CIE 色度图的简单形式，并说明如何表示纯色、补色色度=色调+饱和度 颜色=亮度+色度从该颜色点过 C 做一条直线，求其与对侧光谱曲线的交点，即可得到补色的波长6. 什么是加色模型？什么是减色模型？RGB 加色模型：颜色R( 红色比例 )G(绿色比例)B( 蓝色比例) 当三基色等量相加时，得到白色 等量的红绿
21、相加而蓝为 0 时， 得到黄色 等量的红蓝相加而绿为 0 时， 得到品红 等量的绿蓝相加而红为 0 时， 得到青色。（应用：CRT）CMY 减色模型：在 CMY 相减混色中， 三基色等量相减时得到黑色等量黄色(Y)和品红(M)相减而青色 (C)为 0 时，得到红色(R)等量青色(C)和品红(M) 相减而黄色(Y)为 0 时， 得到蓝色(B)等量黄色(Y)和青色(C)相减而品红(M)为 0 时， 得到绿色(G)7. 彩色显示器采用什么颜色模型？打印机采用什么颜色模型？在 PAL 彩色电视制式中使用 YUV 模型， 其中 Y 表示亮度， U=R-Y、 V=B-Y 用来表示色差， U、 V 是构成彩
22、色的两个分量。在 NTSC 彩色电视制式中使用 YIQ 模型， 其中 Y 表示亮度， I、 Q 用来表示色差。彩色打印机和彩色印刷系统都采用 CMY 颜色空间其他锥体细胞 R：G：B= 40:20:1CMYK：青、品红、黄、黑HSL/HSI：色调、饱和度、亮度YCbCr：亮度、色度、饱和度，来源于 YUV，应用于 JPEGMPEGchar6 数字视频 目前世界上有哪三种彩色电视制式？NTSC 美日韩菲律宾 PAL 德英中朝 SECAM 法东欧 NTSC 的帧频是多少，每帧有多少行？隔行扫描， 30 帧/ 秒，525 行/帧，YIQ，宽高比 4:3 PAL 的帧频是多少，每帧有多少行？ 隔行扫描
23、，帧频是 25 Hz，625 行/帧，YUV，宽高比 4：3SEACM 50Hz，625 行/帧，宽高比 4:3 什么是隔行扫描？有什么作用？在隔行扫描，一幅图像由奇数场和偶数场组成。 电子束扫完第 1 行后回到第 3 行开始的位置接着扫，然后在第 5、 7、 ，行上扫，直到最后一行。奇数行扫完后接着扫偶数行，这样就完成了一帧 (frame)的扫描。采用隔行扫描的目的是为了压缩光电转换后所产生的视频信号的频带。隔行扫描技术用于较慢的刷新频率。 为什么要采用图像子采样？依据是什么？如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。人眼对
24、彩色细节的分辨率比对亮度细节的分辨率要差，因此可以将色度分量的分辨率降低。人眼对低频的数据要比对高频的数据具有更高的敏感度，并且人眼对亮度的改变也比对色彩的改变要敏感得多 高清晰度数字电视（ HDTV）的宽高比是多少，采用什么扫描方式？16:9 逐行和隔行扫描Sdtv：普通清晰度；ldtv：低清晰度 对于分辨率为 640*480 的彩色电视画面，每秒 30 帧，则数据传输率（一秒钟的数据量）是多少 Mbps? 640*480*24*30 = 221.12Mbits播放时， 需要 221Mbps 的通信线路。存储时，1 张 CD 可存 640MB，则仅可以存放 23 秒的数据。其他：有模拟视频（
25、AV：广播电视）和数字视频（ DV）之分刷新频率：46Hz黑白和彩色：char7 无损压缩 冗余：编码冗余、空间冗余（静态图像） 、时间冗余（视频压缩） 、心理视觉冗余 衡量一个算法的性能：压缩率（Cr=前/ 后） 、码率、保真度、算法复杂度 信息熵： 各种编码方法总结：图像编码的基本方法包括熵编码、预测编码、变换编码和矢量编码。熵编码的基本思想是为出现次数多的信源符号分配较短的码字，出现次数较少的信源符号分配较长的码字，从而使平均码长最短。熵编码主要包括霍夫曼编码、算术编码、行程编码和词典编码。行程编码：例如对信号 aaabccccccddeee 采用行程编码，则码组是：3a1b6c2d3e
26、。行程编码对于拥有大面积，相同颜色区域的图像，非常有效。如果图像中的数据非常分散，则行程编码不但不能压缩数据，反而会增加图像文件的大小。霍夫曼编码根据出现的概率（次数）为每个信源符号分配码字，霍夫曼编码简单有效，其压缩率接近于信息熵，因此得到广泛的应用。但是霍夫曼编码要对原始数据扫描两遍,数据压缩和解码速度都较慢，并且码字的长度是整数，也没有充分接近于信息熵。算术编码将整个信号用一个浮点数表示，使码字的长度可以是小数，并使压缩率充分接近于信息熵，成为压缩率很高的算法。算术编码的优点是：在自适应模式下，不必预先统计符号概率；当信源符号的概率比较接近时，算术编码的效率优于霍夫曼编码。但算术编码实现
27、比霍夫曼编码复杂一些。霍夫曼编码和算术编码都假设各个信元之间是相互独立的，去除的是编码冗余，但没有考虑信元之间的相关性。词典编码（LZW）例如：例利用 LZW 构造短语规则对信号 s=“ABABBABCABABBA”进行词典编码，W= 1 2 4 5 2 3 4 6 1将数据中相邻符合形成一个个单词，存到动态构造的词典中，传输时，只需传输每个单词在词典中的标号，提高了压缩率。词典编码在数据中存在大量相似模式的情况下很有效，这种假设符合实际数据，因此该方法是目前使用最广泛的无损数据压缩方法。预测编码：例信号 s=4,5,6,7,8,9的编码将信号变为当前点与前一个点的误差表示，4（第一个点保持原值） ，1 （5-4 ） ，1 （6-5） ，1（7-6） ，1（8-7） ，1（ 9-8）是根据离散信号之间存在着一定相关性的特点，利用前面一个或多个信号预测当前信号，然后对实际值和预测值的差（预测误差）进行编码。在图像压缩中，预测编码是建立在去除图像空间冗余和时间冗余基础上的，利用邻近像素间或相邻帧之间图像的高度相关性，在编码时，只对新的信息（预测误差信息）进行编码，从而提高压缩率。矢量化编码将图像分成不同的子块，将每个子块用事先建好的码书中与它最相近的码矢的索引号代替，这样便可以提高压缩率，矢量编码可以看成是一种有损的词典编码，它去除的是空间冗余和心理视觉冗余。
