1、浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用本科毕业设计(论文)论文题目 角点检测技术在镜头自动切割中的 研究与应用Research and Application of SIFT forAutomatic Shot Segmentation 学 生 姓 名： 学 号： 二级学院名称： 电子信息学院 专 业： 广播电视工程 指 导 教 师： 职 称： 合作/企业教师： 职 称： 浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用角点检测技术在镜头自动切割中的研究与应用摘要: 镜头自动切割技术的应用有效地提高了海量视频数据的管理及检索效率。本论文以视频镜头结
2、构作为切入点，以视频的图像序列作为镜头分割的基础，利用图像特征匹配算法检测出镜头边界，从而实现镜头自动分割。众多图像匹配算法中，SIFT 角点检测算法具有良好的尺度、光照和空间旋转的不变性。针对视频基本结构、图像序列特点及 SIFT 算法进行简单阐述，合理高效地进行图像序列匹配，并根据算法特点设计镜头自动分割应用方案。首先读取视频数据获得图像序列矩阵，将图像数据转换为灰度图像便于 SIFT 算法进行处理，对视频图像序列进行 SIFT 角点检测，采用欧氏距离为匹配度量函数应用于图像匹配，返回匹配数值，并将匹配结果作为镜头边界度量标准，设置合理阈值，从而实现镜头自动分割。最后，就提高 SIFT 算
3、法效率及适用性进行讨论，同时根据设计方案进行了大量的实验仿真，实验结果证明了算法的有效性。关键词：镜头分割；SIFT；角点；图像特征浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用RESEARCH AND APPLICATION OF SIFT FOR AUTOMATIC SHOT SEGMENTATIONAbstract: Automatic Shot Segmentation technology effectively improve the management and retrieval of mass video data. Considering the vid
4、eo structure，this paper describes the implement of automatic shot segmentation which is based on the video image sequence theory，with the image feature matching algorithm to detect the shot boundary. Among many matching algorithm，SIFT （Scale Invariant Feature Transform）is not variable in the scale a
5、nd rotation in the image changes，but also has a strong adaptability in illumination. Introducing the basic structure of the video、 image sequence characteristics and the SIFT algorithm，matching the image sequence, and then designing applications of automatic shot segmentation based on algorithm char
6、acteristics . First read the video data to obtain the image sequence matrix，converting the image data into grayscale images to facilitate the processing of SIFT algorithm. Making SIFT detection for video sequences. Euclidean distance was adopted as the measuring function into matching. Return the ma
7、tching value and compare the value with the pre-configured threshold. Then Automatic Shot Segmentation can be achieved.At last, discussed ways to enhance the efficiency and applicability of the SIFT algorithm, based on the theoretical analysis, lots of numeric experiments are performed, and the expe
8、rimental results verify the improvements of the proposed algorithm.Key words：shot segmentation ; SIFT; keypoint ; image feature浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用目 录1 绪论.11.1选题背景 .11.2国内外现状 .21.3研究目的及意义 .42 图像特征匹配概要研究.52.1视频结构分析 .52.2图像匹配概述 .62.3图像匹配算法 比较 .73 角点检测技术在镜头自动切割中的应用方案设计.73.1应用方案流程图设计 .73.2视
9、频图像序列的获取 .93.3帧图像的 SIFT 角点检测 .93.3.1 建立尺度空间并选取候选点.93.3.2 精确确定关键点 .113.3.3 确定关键点方向.133.3.4 提取特征描述符.143.4特征点匹配 .153.5视频序列的合成与输出 .164 基于角点检测算法的视频镜头分割实验与测试.184.1实验环境 .184.1.1 实验平台.184.1.2 运行环境.194.2角点检测应用于图像匹配 .194.2.1 单幅图片角点检测结果.194.2.2 图像序列特征匹配结果.204.3图像序列匹配阈值统计 .22浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用4.4
10、镜头层图像序列的自动合成输出 .235 总结和展望.245.1 总结.245.2 展望.25致谢.26参考文献.27浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用 第 1 页 共 27 页1 绪论1.1 选题背景随着科技生活的进步和互联网的蓬勃发展，每天都有大量的图像和视频信息不断产生，如何有效地在这种视频大仓库的环境中组织和检索视频信息已成为数据库领域以及信息检索领域中研究的关键问题。由于视频的来源和内容非常广泛，因此为了更好的组织视频信息，视频镜头分割技术便成了解决该问题的关键技术。镜头分割也是计算机视觉和图像处理领域的热点，在多媒体通信、视频检索与交互处理、智能监控系
11、统中得到了广泛的应用。因此，视频分割往往不是独立应用的，它通常是为了方便视频的进一步分析处理而做的前期准备。镜头分割技术中，我们可以通过着重研究如何定位视频中的转场帧（镜头）继而对视频进行场景分割。转场帧是指与前一帧差异较大的帧，常用方法是通过帧差法、统计法、模式匹配分类法等，此类方法一般是基于RGB、HSI 、 LAB、CMYK 等计算两帧的差异性，再通过阈值判断是否为转场帧，这忽略了图像内部对象形状和纹理的相似性。本课题主要研究使用角点检测技术进行镜头分割，应用较好的主流角点检测算法有：SIFT 角点检测技术、Harris 算法、广义 Hough 变换等。相对于原图像而言，使用角点进行匹配
12、能够大大减少计算量，因此角点在图像匹配中有良好的应用价值，通过该技术检测不同帧的角点方向和个数，以此为特征比较不同帧的差异性，从而实现转场帧的自动判断和分割。计算机视觉处理中的一项基本任务就是图像的角点检测，同时角点检测也是图像处理的一项基本任务。在各种影像特征中角点特征具有其特有优势，即角点具有旋转、尺度及光照不变性的优点。利用角点特征在一些应用中进行图像处理，不仅可减少计算数据量且完整保存图像灰度信息。此外角点在图像匹配的研究中具有很重要的意义，图像匹配是计算机视觉的一个重要方面，在众多的视觉应用中是个关键技术，广泛的应用于地理信息系统、物体识别领域，利用角点特征进行匹配可以大大提高匹配的
13、速度。尤其在实时处理中有很高的应用价值。因此角点检测已成为很多研究课题的重要环节。采用特征点即角点进行图像匹配可以追溯到 1981 年，Moravec 采用角点检测做立体匹配。1988 年，Harris 和 Stephens 改进了 Moravec 的检测器，使检测到的特征更加稳定。1992 年，Harris 介绍了他的角点检测器在运动跟踪和浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用 第 2 页 共 27 页3 维重构方面的优势，从此之后，角点检测方法被广泛的使用。角点检测最初的应用多在于运动跟踪和立体匹配方面，后来 Zhang 等人在 1995 年实现了图像角点的匹配
14、。他们使用了角点邻域的关联窗来寻找可能的匹配。1997 年Schmid 和 Mohr 做出了开创性的工作，他们采用图像的局部特征进行图像匹配，使得一个特征可以和一个大的图像库中的图像做匹配。他们同样采用 Harris 角点，但不同的是，他们开创性的使用了旋转不变的、图像局部区域的描述子。Harris 角点检测对尺度变化十分敏感，Lowe 在 1999 年实现了局部特征的尺度无关性，并且他提出了新的局部描述子，这种描述子更具独特性和鲁棒性，较好的解决了物体遮挡、旋转缩放、视角变换引起的图像变形等问题。从此 SIFT角点检测技术在多次使用及研究的过程中一直在不断优化不断完善。SIFT 角点检测算法
15、由 D.G.Lowe 1999 年提出，2004 年完善总结。随后Y.Ke 用 PCA 代替直方图将 SIFT 算法中的特征描述子进行改进。SIFT 角点检测算法的主要思想即是从图像中提取局部特征，在尺度空间寻找极值点，确定其位置，尺度，保证特征点具有旋转性。该特征具有良好的旋转、尺度及亮度不变性，同时对视角变化、仿射变换、噪声也保持一定程度的稳定性。应用在海量特征数据库中进行快速、准确的匹配。近年来，在图像处理领域，类似SIFT 特征的局部不变特征描述子在特征识别以及图像特征匹配方面均有显著发展。SIFT 算法采用提取图像的 SIFT 特征，实用于在海量数据库中进行快速实时的匹配。另外，SI
16、FT 算法提取的少数特征点具有大量的 SIFT 特征，可以对图像的特征点进行准确的匹配。因此对于视频帧图像的特征匹配中，使用 SIFT算法有很多便利之处。因而使用角点检测技术能够实现镜头的分割，以便于应用到如多媒体通信、视频检索与交互处理、智能监控系统等各个场合中。1.2 国内外现状特征提取在图像处理、重建 3D 场景、运动趋势估计、目标跟踪识别、图像匹配等计算机视觉领域中起着非常重要的作用。而图像的一个重要特征角点，对图像图形的分析和理解有很重要的作用，长期以来备受研究者关注，也取得了很多研究成果。角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点，能很好地被区分出来，这些点保留了
17、图像的重要特征，同时利用信息量用于处理计算，切实实现高效快速的计算速度。经过三十多年的发展，产生了大量的角点检测算法，取得了很大的突破和进展，但此领域的研究浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用 第 3 页 共 27 页一直受到相关研究人员的重视，对于角点检测的方法如何优化使之更高效是十分值得关注的研究方向。 国内外关于角点检测按检测目的大致分为三类，第一类是基于灰度图像进行特征点检测，通过该方法检测角点首先应计算图像中曲率和梯度值，基于灰度图像的角点检测技术又分为基于梯度的方法和基于模板的方法，通过计算边缘曲率获得角点是基于梯度的方法，边缘强度与边缘方向的变化率都
18、会影响到角点的计算。图像亮度的变化则是基于模板的方法主要考虑的问题，该方法定义角点为在邻域点中对比度足够大的点。其中基于梯度的方法要比基于模板的角点检测方法对噪声更为敏感。第二类是基于轮廓曲线的角点提取，根据图像的边缘特征，用轮廓点来计算对称性、边缘曲率或夹角来判定角点。这类方法定义角点为曲率函数最大值点，这样很容易通过阈值方法将其检查出来。第三类是基于二值图像的角点检测，研究人员提出一种新的基于形态骨架的角点检测方法，该方法把原始图像比成一个多边形，角点即为骨架中最大圆盘半径为零的点，并由它的补图来获得凹点的角点，通过由原图及补图获得的角点进行异或操作，则得到全部角点并去掉离散化后产生网格角
19、点。因为在二值图像阶段处理，计算量并不是很大，所以保证了计算的实时性。应该指出的是，虽然将二值图像作为一个单独的检测目标列出来，但是基于灰度图像的各种处理方法对此仍然有效。二值图像处于灰度和边缘轮廓图像的中间步骤，所以专门针对此类图像的角点检测方法并不多见 1。通常在计算机视觉中，图像匹配是一个非常重要的基础步骤，也是国内外研究的热点。由于角点在图像匹配中占有重要地位，因此，图像匹配技术目前的主要方法有基于灰度的方法和基于图像特征的算法。到目前为止，计算机视觉领域中，还没有在数学方面给出很好的角点定义。对于不同的角点检测方法具有多种不同的数学描述，因此对于角点也有多种定义。因为对于定义的理解不
20、同，所以在检测方法及评判标准难以统一。考虑到实际应用的需求，从快速性、准确性、鲁棒性等角点检测技术需提高的问题及要求出发,可以看出各种角点检测算法各有利弊。直接基于图像的角点检测基本上是全局搜索；基于边缘轮廓的角点检测数据量较少，可以采用多分辨分析并行处理，从灰度图像得到边缘轮廓曲线要经过两次以上的全局搜索,速度并不是很快，但对角点的误检和漏检要比直接基于图像的方法好得多。如果在得到轮廓曲线的过程中应用一些其他的变换方法，就计算的速度而言下降不少 1。SIFT 算法采用提取图像的 SIFT 特征，使其具有很多优点： SIFT 特征是图像的局部特征，它对图像的光线亮度变化、尺度缩放以及旋转都能保
21、持不变，浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用 第 4 页 共 27 页对视角变化和噪声也保持一定程度的稳定性。实用于在海量数据库中进行快速实时的匹配。另外，SIFT 算法提取的少数特征点具有大量的 SIFT 特征，可以对图像的特征点进行准确的匹配。虽然 SIFT 算法有诸如上述的很多优点，但是在相似的环境或对称的环境下匹配正确性很低。因此现在一些国内外相关研究人员也着手对 SIFT 算法提出了改进。因为没有角点确切的定义，所以方法的优劣难以通过定量评价标准来评判，导致在进行图像匹配时选择角点检测方法时没有很好的依据，且在研究过程中没有很好的改进方法。对于角点检测算
22、法稳定性及精确性的衡量，同样不存在恰当的定义。一些现有的评判准则对于研究图像噪声等参数的变化对检测结果的影响也无法定论。这些参数包括高斯尺度、阈值、信噪比和在原始图像的灰度级转换宽度。在角点检测技术中，阈值通常需要通过大量实验验证进行手动设定，自动化程度不高，对于不同的视频信息，阈值的设定标准也有所不同，未来在研究角点检测方法的同时，我们仍需要关注阈值的选取标准。1.3 研究目的及意义多媒体压缩等众多编码技术的发展、计算机性能大幅提高及 Internet 应用的快速增长导致了数字视频的海量增长。数字图书馆、视频点播、交互式电视、远程学习、多媒体信息系统等应用都产生和使用了大量的视频数据。这一切
23、都需要一些能够有效地索引、浏览和检索相关视频资料的工具，这些工具首先需要将视频数据重组为层次化的结构数据。这种结构数据可以按照自顶向下的结构定义为节目、场景、镜头和帧，把一个视频流准确地重组并构造成这样的层次需要较为复杂的技术支撑，有时候甚至是件十分困难的事情。从视频流中检测出其基本单位即每个独立的镜头只是其中关键的一步，是随后的高层内容分析、分类、索引和查询的基础。镜头边界检测，即镜头分割，是进行自动数字视频序列检索的第一步 2。综上所述，研究镜头自动分割技术具有十分重要的实践及理论意义。该技术的研究不仅可以直接作用于人们的日常生活和工作，从海量视频信息中提取目标镜头，还可以推动基于内容的视
24、频检索技术以及视频结构化理论研究的发展，使数字图像处理技术得到更广泛的应用。本论文在内容安排上主要分为以下几个部分：浙江传媒学院本科毕业论文 角点检测技术在镜头自动切割中的研究与应用 第 5 页 共 27 页第一章 简要介绍视频镜头分割以及图像特征匹配的研究背景和国内外现状以及本课题的主要研究目的和意义。第二章 概括介绍视频结构理论及图像匹配技术，详细介绍了图像匹配常用技术帧差法和图像特征匹配中角点检测算法等两种技术，并对其进行了概要的比较和总结。第三章 具体阐述了基于 SIFT 角点检测技术的视频镜头自动切割技术的研究与应用方案，包括视频帧描述及图像序列的合成、帧图像的 SIFT 角点检测技
25、术、特征点匹配、特征匹配数目阈值的选取及设定等一系列方案的总体设计思路。第四章 根据实验方案进行实验测试，并分析数据。第五章 总结全文，阐述自己在本次研究设计中所做的工作和本论文需进一步改进和优化的地方。2 图像特征匹配概要研究2.1 视频结构分析视频结构的划分依次为节目层、场景层、镜头层、帧层。从节目层到帧层语义信息逐渐减少。帧即是一副静态图像，因此帧是视频组成中的最小逻辑单元。镜头是摄像机连续拍摄的一段视频，由若干帧组成，描绘一个事件或一个场面的一部分，如“飞机起飞”这组镜头，它的画面色彩和纹理等图像特征基本保持不变。镜头是对视频流进行处理的最小物理单元，它包含了少许语义内容，强调构成帧的
26、视觉内容相似性，由于在同一组镜头中，属于同一组镜头的帧图像之间的特征保持稳定，在镜头内部的图像变化，其原因一般是摄像头的运动和对象的运动、以及光源的亮度变化等 3。如果相邻图像帧之间的特征发生了明显变化，则认为发生了镜头变化。在一组视频镜头中，可以选取一幅能够代表镜头内容的图像作为关键帧。语义上相关并且时间上相邻的若干组镜头组成了场景，如新闻场景中连续相关的多个镜头表现一则新闻故事等。场景是视频所蕴含的高层抽象概念和语义的表达。场景可以是相同对象的不同角度、不同技法拍摄，也可以是具有相同主题和时间的镜头组合，强调语义的相关性。视频层包含一个完整的时间或故事，作为最高层的视频内容结构，它包括视频的组成关系以及对视频的摘要、语义和一般性描述等 4。
