1、 本科毕业论文 (科研训练、毕业设计 ) 题 目： 视频数据库的设计与应用 视频结构化分析与实现 姓 名： 学 院：软件学院 系： 软件工程 专 业：软件工程 年 级： 学 号： 指导教师： 职称： 年 月 I 摘 要 随着多媒体技术的迅速发展和互联网的日益普及，视频作为多媒体信息中最复杂的一种媒体形式，凭借其丰富的语义内容得到了广泛的应用和发展。基于内容的视频检索 (CBVR, Content-based Video Retrieval) 技术 能够快速有效地进行视频内容分析和检索，具有广阔的应用前景，成为非常活跃的研究领域。 视频结构 化 是指对非结构化的二维图像流进行处理，形成关于视频内
2、容的结构化数据，它是基于内容的视频检索与浏览的基础及关键 。 本文主要针对视频的结构化进行研究，目的是实现对视频数据的结构化存储 。 本文 的 研究内容涉及视频镜头分割、关键帧提取、场景检测等 视频结构化的 关键技术， 通过 采取 简单有效 的 算法 将视频序列按照语义内容分割为镜头、场景等语义单元，实现视频序列的层次化组织 。 本文 开发了 基于内容的视频 检索系统中的 视频结构化分析子系统，通过良好的界面展示了视频结构化的 处理 过程。通过实验表明，本文采用的算法 较好地建立了视频数据的语义结构，实现 了 对视频内容有效的组织。 在此基础上可以建立基于内容的视频数据库及 视频 检索系统。
3、关键词 ： 视频 结构化 ； 基于内容的视频检索 ； 镜头 分割 ； 关键帧 ； 场景检测 II Abstract With the rapid development of multimedia technologies and the Internet popularizing, as the most complex multimedia form, video has been applied and developed widely due to its abundant semantic content. The Content-based Video Retrieval (CBV
4、R) technology can analyze and retrieve video content quickly and efficiently. It has become very active research field for its wide application foreground. Video structuralization analysis is the process of converting the video sequences of two dimensions to structural data, which is the basis of co
5、ntent-based video browsing and retrieval. This thesis mainly researches on video structuralization to achieve the store of video structural data. The research range includes several key technologies of video structuralization such as shot detection, key frame extraction and scene segmentation. Using
6、 the simple and effective methods, the author divided the video sequences into semantic units such as shot and scene. This thesis developed a video structuralization subsystem, which shows the process of video structuralization. Experiment results show that methods adopted by this thesis work well,
7、and organize the structure of the video effectively. On this basis we can create content-based video database and CBVR. Key Words: Video Structuring, CBVR, Shot Detection, Key Frame, Scene DetectionIII 目 录 第一章 绪论 . 1 1.1 项目背景及意义 . 1 1.2 现状与存在的问题 . 2 1.3 本文的主要内容 . 2 1.4 论文组织结构 . 2 第二章 视频结构化 . 3 2.1 视
8、频的无结构性问题 . 3 2.2 视频的结构分析 . 4 2.3 镜头分割 . 5 2.3.1 镜头分割概述 . 5 2.3.2 典型的镜头分割方法 . 6 2.4 关键帧提取 . 9 2.4.1 关键帧的选取原则 . 9 2.4.2 典型的关键帧提取方法 . 9 2.5 场景检测 . 11 2.5.1 场景检测概述 . 11 2.5.2 典型的镜头聚类算法 . 12 第三章 基于内容的视频数据库的设计与实现 . 14 3.1 系统框架 . 14 3.2 系统平台及开发环 境 . 16 3.3 视频结构化模块的主要实现技术 . 16 3.3.1 镜头分割 . 16 3.3.2 关键帧提取 .
9、19 3.3.3 场景检测 . 19 3.4 用户界面 . 22 3.4.1 基于内容的视频检索系统 . 22 3.4.2 视频结构化子系统 . 24 3.5 实验结果与分析 . 26 IV 3.5.1 镜头分割 . 26 3.5.2 关键帧提取 . 28 3.5.3 场景检测 . 29 第四章 总结与展望 . 32 参考文献 . 33 致 谢 . 35 V CONTENTS CHAPTER 1 INTRODUCTION. 1 1.1 Background . 1 1.2 Status and Problems . 2 1.3 Content . 2 1.4 Organization . 2
10、CHAPTER 2 VIDEO STRUCTURALIZATION. 3 2.1 Problems . 3 2.2 Video Structuralization Analysis . 4 2.3 Shot Detection . 5 2.3.1 Introduction . 5 2.3.2 Typical Methods. 6 2.4 Key Frame Extraction. 9 2.4.1 Principles. 9 2.4.2 Typical Methods. 9 2.5 Scene Detection . 11 2.5.1 Introduction . 11 2.5.2 Typica
11、l Methods. 12 CHAPTER 3 DESIGNING AND IMPLEMENTATION OF CBVR . 14 3.1 Framework . 14 3.2 Developing Platform. 16 3.3 Video Structuralization Technologies . 16 3.3.1 Shot Detection Technologies. 16 3.3.2 Key Frame Extraction Technologies . 19 3.3.3 Scene Detection Technologies . 19 3.4 User Interface
12、. 22 3.4.1 CBVR. 22 3.4.2 Video Structuralization Subsystem . 24 3.5 Tests Results and Analyses . 26 VI 3.5.1 Shot Detection Test . 26 3.5.2 Key Frame Extraction Test. 28 3.5.3 Scene Detection Test . 29 CHAPTER 4 CONCLUSIONS AND FUTURE WORK . 32 REFERENCES . 33 ACKNOWLEDGEMENTS . 35 视频数据库的设计与应用 视频结构
13、化分析 与实现 1 第一章 绪论 1.1 项目 背景 及意义 由于视频的数据量巨大，需要用更大的存储空间和传输带宽，因此，在过去的很长一段时间内，基于内容的视频传输没有得到广泛的应用。随着数字技术和互联网的发展，数字视频的产生和传播变得越来越容易，视频信息己经开始逐步走入人们的日常生活中，视频数据在以前所未有的速度增长。对于网上公共社区、网上广告和网上电子商务等应用领域，视频信息极大地增强了网上站点的吸引力，其作用尤为明显。此外，数字电视、多媒体广播、可视电话、视频会议系统的出现，使数字视频的存储和传输也不再是一件困难的事，它 使人们越来越感受到视频技术发展所带来的无穷魅力。 在视频传输和存储
14、问题得到发展的同时 ， 人们所面临的问题己不再是视频内容的匮乏。对于大多数用户来说，那种仅仅在站点上放置几个 MPEG 视频文件供下载的方式也已经远远不能满足需要了，面对浩如烟海的视频信息，用户希望能像查询文字信息那样方便快捷地对视频信息进行检索和查询，最终找出自己感兴趣的视频内容进行播放和浏览。基于内容的视频检索 (简称 CBVR)技术正是基于这方面的迫切需求而迅速发展起来的。所谓视频检索是指从大量的视频数据中找到所需要的视频片断。它是视频数据库必须具 备的基本功能。如果不对视频数据库内的视频数据进行自动及有效的描述 ， 那么大量的信息将会淹没在视频数据库中，这样会造成资源的巨大浪费。因此，
15、针对视频检索技术的研究是十分必要的。我们知道 ，传统的 CBVR 方法主要是借用基于文本数据库的检索方法，即给视频数据编号，然后对信息按设计好的格式进行严格统一的加工 (包括分类、标记关键词或索引词等人工标注工作 )，这些工作完成之后才能进行有效的检索。这种方法虽然简单，但在实际应用中却遇到了巨大的难题 ： 一是互联网的普及导致信息量急剧增加 ； 二是人工标注工作量大且成本太高，不可能对 所有视频数据都进行这样的处理 ； 三是视频内容丰富，很难用文字进行全面的恰当描述 ； 四是人工标注分散进行 ， 导致不同人对信息的主观感知不同，人的主观性、随意性和误差性对标注结果影响较大 ； 五是传统数据库
16、是以精确匹配为基础 ，对 于大量非结构化的视频数据无法进行 相似性检索。 视频数据库的设计与应用 视频结构化分析 与实现 2 以上诸多因素导致传统方法在寻找多媒体信息时显得越来越难 。 为了克服传统方法带来的问题，必须采用一种基于自身内容的能全面、客观地提取视频内容的新方法。计算机技术发展恰恰提供了人们实现这一方法的可能。利用计算机，人们可以方便的对视频数据进行 结构化 处理以 灵活地组织视频数据，进行相应的视频查询。这种方式完全不同于传统的基于关键词的处理方法，它融合了图像理解和模式识别等新技术。通过采用这种方式，人们能够更加全面地表示、处理、组织和获取视频数据。 CBVR 的研究正是从这种
17、方法出发，充分利用视频中的各种信息 (包括颜色、纹理、形状、运动矢量、亮度等等 )，实现自动或半自动的视频检索 1。 1.2 现状与存在的问题 目前国内外有许多研究 机构 在从事基于内容的视频数据检索的相关研究工作。在美国，微软研究院的多媒体计算 组、 IBM 研究院的多媒体研究组、 PURDUE 大学等都在进行相关研究 。 当前在 CBVR 方面的研究虽然已经取得了一些进展，但在理论上还很不系统，与实际应用的要求更相差甚远。 1.3 本文的主要 内容 本文主要 工作在于 对 视频的结构化分析上，通过研究 视频 镜头分割、关键帧提取、场景检测等算法 ， 使用 C+语言， 结合 OpenCV(O
18、pen Source Computer Vision)开源计算机视觉库实现视频的结构化， 将视频序列按照语义内容分割为镜头、场景等语义单元，实现视频序列的层次化组织，使得视频数据能在数据库中结构化存 储，并在以上研究的基础上 使用 MS Visual C+ 6.0 开发了视频结构化子系统，较好的呈现了视频结构化的 处理 过程。 1.4 论文组织结构 本文共分四章，各章的主要内容如下： 第一章是绪论，介绍了基于内容的视频分析和检索的基本概念和系统构成，并分析了其国内外研究现状，概括了本文的主要工作和研究内容以及章节安排。 第二章 介绍了视频 的 无结构性问题， 分析了视频的 语义 结构 ， 并对
19、视频结构化 过程 的镜头分割、关键帧提取和场景检测等关键技术进行了概述和经典算法的介绍。 第三章 总体介绍了基于内容的视频数据库的设计与实现， 并详细介绍了视频结构化子系统的实现技术， 最后结合实验结果分析了系统的实现效果。 第四章对本文的研究工作进行了总结，并对未来的工作作了进一步的展望。 视频数据库的设计与应用 视频结构化分析 与实现 3 第二章 视频结构化 视频结构化是建立视频数据库的前提，通过对视频进行结构化的层次组织，可以将无结构性的视频数据划分成高层次的语义单元。这一章我们讨论视频的无结构性问题以及相应的解决办法 和典型的实现技术。 2.1 视频的无结构性问题 视频所承载的信息是真
20、实世界的未经任何抽象处理的记录 ， 这一本质特征使得视频成为各种媒体中形式和内容最丰富的媒体 ， 这表现在 图像 信号 和音频信号两个方面 ： 在 图像信号中不仅可以记录所拍摄的各种对象 (人物、动物、风景等 )的颜色、形状、纹理、运动信息 ， 而且还可以附加各种文字说明、图标 (字幕、标题等 )； 在音频信号里则可以记录拍摄时的声响、语音、背景声和后期制作所添加的音乐和各种音效。这种丰富性使得视频信息直观、生动、吸引人、信息量大，再加上与数字化多媒体时代的软硬件平台、 Internet 的发展相契合 ， 对传统的文本媒体有很大冲击。 然而，视频内容的丰富性是以视频数据的无 结构性 为代价的。
21、视频数据的无结构性表现在，其最大颗粒度是整个文件，最小颗粒度是单 个帧，中间没有任何过渡层次的抽象 。这种无结构性意味着，用户要查找自己想要的视频内容，只能定位到某个文件，然后再线性地浏览该文件 (每个文件需要浏览十几分钟到几个小时不等 )。可见，在数字化图书馆的终端前通过鼠标点击和快进、后退键来查找想要的视频资料是多么困难的事情。同样，在 VOD系统、电影租借网站或下一代的交互式电视节目中，当用户准备投资数个小时点播、租借、下载一个视频文件时，他 /她也冒着相当的风险，因为除了一些文字描述，用户很可能对这个视频的内容一无所知。视频媒体的无结构性阻碍着视频 媒体的有效应用。大量的电视 节目、录像制品、电影胶片播放数次后就被束之高阁，再也无人问津。许多以视频提供信息服务的应用也由于不能提供很好的内容浏览、索引、注释机制而使用户望而却步 2。
