1、 本 科 毕 业 论 文 新闻视频中关 键帧提取 的互信息量 法研究 Research on Mutual Information Key Frame Extraction Algorithm from News Videos 姓 名： 学 号： 学 院：软件学院 系：软件工程 专 业：软件工程 年 级： 指 导教师： 年 月新闻视频中关键帧提取的互信息量法研究 I 摘 要 计算机技术和多媒体技术的迅猛发展让我们不得不面对大量的视频信息。随着视频数据的日益丰富，在大量视频素材中方便地寻找感兴趣的视频片段的需求已变得日益迫切。因此，视频内容检索技术 (CBVR)便成为人们关注的热点，而视频的关键
2、帧提取是关键性技术。关键帧 (key frame) ,有时也称为代表帧 ,用于描述一个镜头的关键图像帧 ,它通常会反映一个镜头的主要内容。关键帧的使用大大减少了视频索引的数据量 ,同时也为视频摘要和检索提供了 一个组织框架。正是由于关键帧的提取在基于内容的分析、检索以及查询中具有如此重要的地位 ,近年来受到了研究者的广泛关注 ,也取得了一定的研究成果。关键帧提取原则是“宁愿错 ,勿能少”。 本论文首先介绍了 关键帧提取的 背景及研究现状。然后，总结了传统的关键帧提取方法，分析了现有方法的优缺点。接下来，介绍了视频处理过程中，通常选用的特征及颜色空间。通过总结传统 关键帧提取 方法的优缺点，实现
3、了一种新的关键帧提取方法，即互信息量的关键帧提取。这种方法 ,主要通过相邻帧间的互信息量的差异分解视频为镜头序列 ,然后通过视频镜头内的互信 息量平均的差异进行聚类来提取关键帧 ,获得的关键帧有效地保持了原视频图像帧的时间顺序和动态信息 ,有利于实现视频分析和检索。实验表明 ,这种方法可以较好地代表视频内容。 虽然传统关键帧提取方法有缺陷，但 本次实验 还是对帧平均法和直方图平均法这两种经典算法进行了实现。 帧平均法是从镜头中取所有帧在某个位置上像素值的平均值，然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧；直方图平均法则是将镜头中所有帧的统计直方图取平均，然后选择与该平均直方图最接近
4、的帧作为关键帧。 实验结果表明由互信息量法获得的关键帧有效地保持了 原视频图像帧的时间顺序和动态信息 ,而且命中率高，这亮点是传统方法所不及的，互信息量法相对于传统方法更有利于实现视频分析和检索。 关键词 ： 熵 ； 直方图； 互信息量 ； 联合直方图； 新闻视频中关键帧提取的互信息量法研究 II Abstract Computer technology and the rapid development of multimedia technologies so that we have to face a lot of video information. With the growing
5、 video data is rich in a large number of video material of interest to easily search for video clips of the demand has become increasingly urgent. Therefore, video content retrieval (CBVR) will become the focus of attention, and the video key frame extraction is the key technology. Key frame (key f
6、rame), sometimes referred to as the representative of the frame, a lens is used to describe the key to the image frame, which usually reflect the main elements of a lens. The use of key frames greatly reduces the amount of video data indexing, but also for video and retrieval provides a summary of a
7、n organizational framework. It is precisely because the key frame extraction in content-based analysis, retrieval and query the status of having such an important, researchers in recent years has been widespread concern, but also made some of the research results. Key-frame extraction principle is “
8、rather a mistake, not to small.“ This paper introduces the key-frame extraction and research the background of the status quo. Then, summing up the traditional key-frame extraction method to analyze the advantages and disadvantages of existing methods. Next, introduced the video processing is usuall
9、y selected features and color space. Traditional key-frame by summing up the advantages and disadvantages of extraction methods to achieve a new key frame extraction method, that is, mutual information of the key frame extraction. In this way, mainly through the adjacent frame differences in the dec
10、omposition of mutual information for the camera video sequence, and then through the video camera an average of each of the differences in the amount of information to extract the key frame clustering, the key frame was maintained effectively the original video image frame in chronological order and
11、 dynamics of information conducive to the realization of video analysis and retrieval. The experimental results show that this method can better represent the video content. Although the traditional key-frame extraction methods are flawed, but this experiment is the average of the frame and histogra
12、m average of these two classical algorithms to achieve. Frame from the average of all frames from the camera in a certain position in the average 新闻视频中关键帧提取的互信息量法研究 III pixel value, and then point the lens in the position closest to the average pixel value of frame as a key frame; histogram average
13、method for all type of lens frame from the average of the statistical histogram, and then choose the closest to the average histogram of the frame as a keyframe. The experimental results show that the amount of information obtained from each of the key-frame effective to maintain the original time-f
14、rame video image sequence and dynamic information, and a high percentage of hits, this bright spot is less than the traditional method, the mutual information method for the more traditional methods conducive to the realization of video analysis and retrieval. Key words: Entropy ; Histogram;Mutual I
15、nformation; Joint histogram; 新闻视频中关键帧提取的互信息量法研究 IV 目录 第一章 绪论 . 1 1.1 选题背景及研究意义 . 1 1.1.1 视频数据简介 . 1 1.1.2 研究背景与意义 . 2 1.2 研究现状与存在的问题 . 3 1.2.1 研究现状 . 3 1.2.2 存在的问题 . 4 1.3 本文的主要工作 . 5 1.4 本文的章节安排 . 5 第二章 关键帧基础知识 . 7 2.1 基本概念 . 7 2.1.1 镜头分割 . 7 2.1.2 关键帧 . 8 2.2 关键帧的提取原则 . 8 2.3 常用的关键帧提取方法 . 9 2.3.1
16、基于镜头边界法 . 9 2.3.2 基于帧图像信息法 . 9 2.3.3 基于运动的分析法 . 10 2.3.4 基于镜头活动性提取关键帧 . 10 2.3.5 基于聚类的关键帧提取方法 . 10 2.3.6 压缩域中的关键帧提取方法 . 10 2.3.7 基于帧平均法的关键帧提取 .11 2.3.8 基于直方图平均法的关键帧提取 . 12 2.4 颜色空间模型 . 12 2.4.1 面向硬件设备的颜色空间模型 . 12 2.4.2 面向色彩处理空间的颜色空间 . 14 第三章 几种经典算法 . 17 3.1 帧平均法提取关键帧 . 17 3.1.1 算法介绍 . 17 3.1.2 实现步骤
17、. 17 3.1.3 核心代码解释 . 17 3.1.4 提取结果 . 20 3.1.5 从结果分析算法优缺点 . 21 3.2 直方图平均法提取关键帧 . 21 3.2.1 算法介绍 . 21 3.2.2 实现步骤 . 22 3.2.3 核心代码解释 . 22 3.2.4 提取结果 . 25 新闻视频中关键帧提取的互信息量法研究 V 3.2.5 从结果分析算法优缺点 . 26 第四章 互信息量的关键帧提取 . 27 4.1 理论介绍 . 27 4.1.1 相关理论介绍 . 27 4.1.2 图象的互信息量 . 28 4.2 实现步骤 . 29 4.2.1 算法流程 . 29 4.2.2 步骤
18、 : . 31 4.3 核心代码解释 . 32 4.4 提取结果 . 39 4.4.1 动画片段 . 39 4.4.2 足球比赛 . 39 4.4.3 新闻片段 . 40 4.5 从结果分析算法优缺点 . 41 第五章 系统介绍 . 43 5.1 编程环境介绍 . 43 5.1.1 基本环境 . 43 5.1.2 引用库 . 43 5.2 系统流程 . 44 5.3 系统界面 : . 45 第六章 总结与展望 . 49 6.1 总结 . 49 6.2 展望 . 49 致谢 . 50 参考文献 . 51 新闻视频中关键帧提取的互信息量法研究 VI Contents Chapter 1 Prefa
19、ce . 1 1.1 BackGround and Research Significance . 1 1.1.1 Video Data Synopsis . 1 1.1.2 Research BackGround and Significance . 2 1.2 Current Research Status and Problems . 3 1.2.1 Current Research Status . 3 1.2.2 Problems . 4 1.3 Work of This Paper . 5 1.4 Paper Structure . 5 Chapter 2 The ABC of K
20、ey Frame . 7 2.1 Basic Concept . 7 2.1.1 Shot Segmentation. 7 2.1.2 Key Frame . 8 2.2 Extraction Principle . 8 2.3 Common Extraction Method . 9 2.3.1 Method Based on Shot Boundary . 9 2.3.2 Image Information of Frame-based Extraction. 9 2.3.3 Method Based on Analysis of Movement. 10 2.3.4 Method Based on Lens Activity. 10 2.3.5 Extraction Based on Cluster. 10 2.3.6 Compressed Domain of Extraction . 10 2.3.7 Average Frame-based Extraction .11 2.3.8 Histogram Average Based Extration. 12 2.4 Color Space Model . 12 2.4.1 Hardware-oriented Color Sp
