1、基于 sift 算法的图像匹配方法 I摘要图像匹配是指通过一定的算法在两幅或多幅影像之间识别同名点的过程。图像匹配技术是图像处理技术中的重要研究内容，是图像信息领域之中的一项重要技术，同时它也是其它一些图像分析技术的基础。正由于其应用的广泛性，使得匹配算法的研究逐步走向成熟。图像匹配是一个多步骤的过程，不同的匹配算法之间步骤也会有很大的不同，效果也有较大的出入。SIFT算法是一种基于尺度空间的算法，该算法特征是图像的局部特征，使其对旋转、尺度缩放、亮度变化具有保持不变性，对视角变化、方式变换、噪声也具有良好的稳定性，同时SIFT算法具有独特性好、信息量丰富，运行速度快等特点。本课题研究了基于S
2、IFT算法的图像匹配方法，论述了SIFT算法的实现过程。通过实验，探寻SIFT在亮度变化、尺度变化、旋转变化下的匹配效果。并运用SIFT算法实现物体识别。关键字： 图像匹配，尺度空间，稳定性， SIFT 算法，物体识别基于 sift 算法的图像匹配方法 IIABSTRACTImage matching refers to the process of identify homonymy points between two or more images by a certain algorithm. Generally speaking, Image matching technology i
3、s of important, not only in the application of image processing technology, but also in the field of pattern information. Besides, it is also the basis of some other technology of image analysis. Therefore, it would seem that further investigation about image matching technology is needed.Image matc
4、hing is a multi-step process. Different matching algorithm would have different calculate steps and results. In addition, SIFT is an algorithm based on scale-space, which feature is the local features of the image, its rotation, scale zooming, brightness variation have the advantage of invariability
5、, and the change of viewpoint ,pattern transformation, noise also has good trait of stability. Meanwhile, the SIFT algorithm has the characteristics of good uniqueness, huge information, faster running speed and so on.This article presents that the method of image matching what based on SIFT algorit
6、hm, and summarize that the implementation procedure of SIFT algorithm as well as explores the matching results of SIFT in the aspect of brightness variation, scale variation and Rotation variation.Besides, it also discusses the way of object recognition by use of SIFT algorithm.Keywords: image match
7、ing, scale-space, stability, SIFT algorithms, object recognition基于 sift 算法的图像匹配方法 III目 录1 绪论 .11.1 研究的背景及意义 .11.2 国内外研究现状 .21.3 研究内容和目标 .31.4 章节安排 .32 图像匹配 .52.1 图像匹配技术概述 .52.2 图像匹配技术的定义 .52.3 图像匹配算法分类 .62.4 本章小结 .63 尺度空间理论 .73.1 尺度空间理论 .73.2 高斯尺度空间 .83.3 本章小结 .84 SIFT 特征匹配 .94.1 图像的初始 .104.2 尺度空间极值
8、检测 .104.3 精确定位特征点的位置和所在的尺度 .144.4 确定特征点的主方向 .164.5 生成 SIFT 特征向量 .184.6 SIFT 特征向量的匹配 .204.7 本章小结 .215 实验结果及分析 .225.1 SIFT 特征提取实验结果 .225.2 特征匹配实验结果 .235.3 图像匹配应用 物体识别 .285.3 本章小结 .356 总结与展望 .376.1 总结 .376.2 展望 .37参考文献 .39致谢 .40附录 .41基于 sift 算法的图像匹配方法 11 绪论1.1 研究的背景及意义二十一世纪，人们进入一个信息爆炸的时代，获取的信息的方式也呈现出多样
9、性，早已不仅仅局限在数字、符号、文本等信息，越来越多的信息是以图像的信息在传递，图像信息的比重也越来越大，人们已经从一个读字的时代逐渐在迈向一个读图时代。图像匹配是图像信息领域之中的一项重要技术，同时也是其它一些图像分析技术，如立体视觉、运动分析数据融合等的基础。正因为其应用的广泛性，新的应用和新的要求逐步产生使得匹配算法的研究逐步走向深入 1。因此，急需展开对现有匹配方法的研究与改进，提高匹配算法的精确度与效率，这对图像信息的发展有着至关重要的意义。基于SIFT算法的图像匹配技术是1999年British Columbia 大学大卫.劳伊教授总结了现有的基于不变量技术的特征检测方法，并正式提
10、出了一种基于尺度空间的图像局部特征描述算子SIFT，并在2004年被加以完善。点特征是图像最基本的特征,它是指那些灰度信号在二维图像上都有明显变化的点,如角点、圆点等。点特征可以应用于诸如图像的配准与匹配,目标描述与识别, 光束计算,运动目标跟踪、识别和立体像对3D 建模等众多领域 2。使用点特征进行处理,可以减少参与计算的数据量,同时又不损害图像的重要灰度信息,在匹配运算中能够较大的提高匹配速度,因而受到人们的关注 3。提取特征点的算子叫做兴趣算子或有利算子，即从图像中提取出一些能代表图像信息的特征点，运用这些特征点来对图像进行处理，以便达到目的。根据不同的目的，提取不同的特征点。特征的提取
11、是图像匹配技术的最重要组成部分，一幅图像中可以检测到多个关键点，我们需要消除一些不需要的点，保留特征性较强的点，用这些点来进行图像匹配。最后消除错误的匹配点。图像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。基于SIFT算法的图像匹配技术在图像处理技术中起着十分关键的作用，它是图像处理技术得以发展的一个重要基础。它推动着图像处理技术在医学、生物、信息处理和其他很多高科技领域内的应用，它已渐渐发展成社会生活中不可
12、分离的一种技术，对于图像处理技术发展及应用具有重要意义。基于 sift 算法的图像匹配方法 21.2 国内外研究现状使用一组局部兴趣点来进行图像匹配的发展可以追溯到1981年Moravec在立体匹配中使用的角探测器。Moravec的探测器在1988 年被Harris和Stephens 改进，在小的图像变动和近边缘区域具有了更高的重复性。Harris还展示了它在高效运动追踪和由运动恢复进行三维建模中的价值，Harris的角探测器自此在很多其他的图像匹配工作中被广泛的使用。尽管这个特征探测器被称为角探测器，但它并不是只能选择角，而是可以在一个确定尺度的各个方向上选择所有具有大的梯度的图像位置。该方
13、法的最初应用是立体或短距离的运动追踪，后来被扩展运用到解决一些更困难的问题。Zhang等人在1995年在每个角的周围使用相关窗口来选择可能的匹配，使得Harris的角进行大幅图像范围的匹配成为可能。计算精确场景中两个视角间的几何约束的基础矩阵，移除异常值，同时移除那些与多数方法不一致的配对。同年（1995） ，Torr也研发了一种类似的方法来进行大间距的运动匹配，使用几何约束来移除图像中移动刚体的异常值。1997年，Schmid和Mohr的开创性工作展示了不变的局部特征匹配可以被扩展应用到解决一般的图像识别问题，即使用一个特征与大型图像数据库进行匹配。他们用Harris角探测器来选择兴趣点，但
14、是他们使用的是一个图像局部区域的旋转不变的描述子来代替相关窗口。这是特征可以在两幅图像之间进行任意方向上进行匹配。此外，他们还证明多特征匹配可以通过识别一致的匹配特征聚类，在遮挡和混杂的情况下完成一般的识别工作。Harris角探测器对图像尺度的变化非常敏感。因此，对于不同尺度的图像匹配，Harris 的角反射器并不能提供很好的基础。大卫罗伊在1999年的早期工作中扩展了这种局部特征方法来实现尺度不变性。这个工作还阐述了一种新的局部描述子，可以降低对局部图像变形的敏感度（如三维视点的变换） ，同时找到更加鲜明的特征。本文提出了对这一方法更加深入的研发，并分析了这些早期的工作，在稳定性和特征不变性
15、的基础上进行了大量改进。而国内从1990年代才初才开始涉足此领域。基于灰度图像匹配算法是图像配准算法中比较经典的一种，很多配准技术都以它为基础进行延伸和扩展。朱近，司美玲详细阐述了用局部灰度极值方法进行多光谱图像配准算法的研究过程。针对多光谱遥感图像，提出了一种基于局部灰度极值的配准方法：通过在基准图像和待配准图像中同步寻找含有灰度极值的小区域，再用多项式对极值区域进行曲面拟合，最后，分别计算小区域的极值点用来作为特征点进行配准。这是与灰度图像配准算法有关的一个扩展应用。林相波,邱天爽提出一种新的灰度和形状信息相结合的全自动同模态医学图像非刚性配准分割算法。将欧氏距离表示的形状信息融入基于灰度
16、的配准算法中，从而构造出新的代价函数。基于 sift 算法的图像匹配方法 3该算法能够较好地完成灰度相近、边缘模糊、间距较小的不同结构的分割 4。该算法优于基于灰度信息的图像配准算法。SIFT算法目前在军事、工业和民用方面都得到了不同程度的应用，其应用已经渗透了很多领域，将会越来越受到人们的关注。在当今的科技水平上，图像配准未来的发展趋势也越来越好。本文主要研究基于SIFT 的图像匹配算法。通过 SIFT算法实现两幅图像或多幅图像之间相同点的识别。基于SIFT算法的图像匹配方法是从图像的灰度值出发，构造尺度空间图像进行高斯模糊，从而得到图像的关键点。对生成的关键点再加以描述。通过对关键点周围图
17、像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，且具有唯一性。然后分别对模板图和实时图建立关键点描述子集合。目标的识别是通过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用欧式距离。由于匹配过程中会产生大量的错误匹配点，我们在最后还要消除错误的匹配点。1.3 研究内容和目标本课题为基于SIFT 的图像匹配方法。本课题对先有的匹配方法做了简要的阐述，从理论上进行优缺点的比较，得出SIFT算法的优越性。再着重详细阐述SIFT算法的实现方法，从理论上证明 SIFT算法的可行性和优越性。然后通过实验，分别对SIFT 算法在各种情况下
18、的匹配效果。测试该算法在尺度变换、旋转变换、亮度变换下的匹配效果。测试特征点的提取与图像之间的关系。得到实验数据，对数据进行分析总结，得出SFIT算法的实际运行效果。到这里，课题研究的主要内容基本完成，本课题的目标是在此基础上稍加创新，把SIFT算法进行了简单运用，用作图像的识别。我们建立一个库文件夹，在文件夹中放入单个物体的照片，作为库图像。然后输入一张图像，如果该输入图像中有库文件夹中的物体，那么输出的结果中就会显示该图像中有库图像中所对应的物体。并显出，匹配上的的关键点对用蓝色细线连接起来，实现图像的简单识别。在最后对系统的用时和准确性分别统计分析，提高系统的稳定性课时效性。1.4 章节
19、安排本文分为5章，每章安排如下：第一章：绪论部分，介绍了本课题研究的背景、意义、内容和目标。第二章：图像匹配介绍了图像匹配的基本概念以及图像匹配方法的分类。第三章：尺度空间理论详细介绍了尺度空间理论的原理，发展历程。第四章：SIFT 特征匹配详细介绍了 SIFT特征的提取部分和基于 SIFT特征的基于 sift 算法的图像匹配方法 4图像匹配，着重阐述了SIFT特征提取的主要步骤和基于SIFT 特征的图像匹配。是本文的重点章节。第五章：通过实验，提取SIFT特征，进行图像匹配。在此基础上，设计图像匹配算法实验，利用SIFT 算法，进行不同场景的物体识别，并进行算法分析。基于 sift 算法的图
20、像匹配方法 52 图像匹配图像匹配是图像信息领域之中的一项十分重要的技术，同时它也是其它一些图像分析技术，比如立体视觉技术、运动分析技术、数据融合技术等的基础 。正因为其具有广泛性的应用性，新的应用和新的要求逐步产生促使了匹配算法的研究逐步走向深入与成熟。 因此，对现有匹配算法展开分析，这对于实际工程提高图像处理质量和识别精度具有非常重要的意义2.1 图像匹配技术概述图像匹配是指对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像匹配广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一。成像
21、匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。本文将介绍基于SIFT算法的图像匹配技术。由于 SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。SIFT算法也是本文研究的内容。2.2 图像匹配技术的定义图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点过程，通常将已知目标图像称为模板图像，而将待搜索图像中可能与之相对应的子图称为该模
22、板的待匹配的目标图像。图像匹配时在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，该技术隶属于计算机视觉领域。对于二维图像配准可定义为两幅图像在空间和灰度上的映射，如果给定尺寸的二维矩阵 和 分别代表两幅图像， 和 分别表示相应位置1F21(,)FXY2(,)上的灰度值，则图像间的映射可表示为：(,)XY（2-1）(,)(,)GHXY式中 表示一个二维空间坐标变换，即 ，且 是一维灰(,)(,)XYHG度变换。图片由于拍摄时间、角度、光照和传感器本身的缺陷及噪声等因素的影响，从而使图像存在失真和几何畸变。而且，对图像预处理也将产生误差，基于 sift 算法的图像匹配方法 6
23、这都使得待匹配的图像信息之间存在很大的差异。在这种情况下，如何提高匹配算法的精度、匹配的正确率、匹配速度和抗干扰能力成为研究的热点。2.3 图像匹配算法分类图像匹配的实现要经过多个步骤。但是匹配的总体思路描述为，图像输入、图像预处理、提取匹配信息、图像匹配、输出结果。图像匹配的算法有多种，不同的算法具体步骤也有很大差异，但它们的大致过程是相同的 5。图匹配方法有很多种，大致可以分为如下两类：2.3.1 基于图像灰度的匹配方法图像的所有信息都包含在图像的灰度值信息中。基于图像灰度的匹配方法一般不需要对图像进行预处理，通常直接利用图像本身灰度的统计信息来度量图像的相似程度。从而实现两幅图像的匹配。
24、基于图像灰度的匹配方法不需要提取图像的特征，通常对直接利用图像全部的灰度信息，所以该算法能提高匹配的精度和鲁棒性 6。但由于在基于图像灰度的匹配方法在匹配过程中会引入匹配点周围的像素点信息，没有经过预处理和筛选，所以将会造成大量的数据处理信息。计算量将会增大，计算时间长，匹配速度慢。2.3.2 基于图像特征的匹配方法基于图像特征的配准方法是目前应用最广泛的方法。该方法的一半步骤为，第一对图像进行预处理，然后提取出图像的特征，最后建立两幅图像之间的对应关系。在提取图像特征过程中，我们通常提取图像的点特征、边缘特征和区域特征。 特征匹配的数据处理方法很多，需要用到许多诸如矩阵的运算、梯度的求解、傅
25、立叶变换和泰勒展开等数学运算 7。基于图象特征的匹配方法的出现是图像匹配技术的一大进步，它克服了基于图像灰度匹配方法的缺点，提高了图像匹配的效率和速度。由于该匹配方法采用的是提取图像的特征点进行匹配而不是图像的像素，从而大大降低了计算量，减少了计算时间;同时，特征点具有尺度、旋转等不变性，对图像的位置、尺度、旋转变换具有更高的匹配精度;而且，基于特征的匹配具有很好的抗噪效果，并在图像发生灰度变化，形变以及遮挡等情况下也能有较好的匹配效果。所以基于图像特征的匹配越来越受到人么的重视，在实际生活中得到了广泛应用。2.4 本章小结本章主要介绍了图像匹配的相关理论知识，对图像匹配技术做了简明扼要基于
26、sift 算法的图像匹配方法 7的介绍。同时阐述了图像匹配的两种方法，并分别对这两种方法的优缺点进行了总结。为后文将要描述的特征点匹配做铺垫。3 尺度空间理论我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。尺度空间理论最早在1962年提出，但当时并未引起算机视觉领域研究者们的足够注意，直到上世纪八十年代，witkin 、Koenderink 等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。尺度越大图像越模糊。3.1 尺度空间理论 尺度空间是
27、一个用来控制观察尺度或表征图像数据多尺度自然特性的框架；信号的尺度空间是指包含有一个连续尺度参量的信号的特征结构集合 。尺度空间理论是先将图像进行尺度变换处理，得到图像在不同尺度下的表示序列。提取出尺度空间的主轮廓，以提取出的主轮廓作为特征向量，实现图像的特征点提取。尺度空间是一种基于区域的表达，与其他的表达相比，由于尺度空间表示是由平滑获得，所有在多尺度上具有保持空间取样不变的特性，并在同一特征的情况下，尺度空间在粗糙尺度上能够对应更多的像素点，从而使数据处理任务大大简化，计算效率大大提高。第二个尺度空间表征的重要特征，就是基于尺度的结构特性能解析式非常简单，计算简洁，在不同尺度空间上的特征
28、可以通过解析式精确的联系起来。尺度空间核是尺度空间理论中的一个重要概念，尺度空间核被定义为：= K * （3-1） 对于所有的信号 ，若它与变换核K 卷积后得到的信号 中的极值( 一 阶微分过零点数) 不超过原图像的极值，则称K为尺度空间核，所进行的卷积变换称为尺度变换 8。3.2 高斯尺度空间在提取关键点集的过程中，我们采用了一种高效的识别方法。先识别候选位置，然后在进一步确认的层叠过滤方法来探测关键点。关键点集的探测首先是把同一图像在不同视角下可被重复分配的位置和尺度。适用尺度空间的尺度连续函数，通过搜索关键点对所有尺度的稳定特征进行检索。完成对图像尺度具有不变性的位置探测。1984年，Koenderink 和 Lindeberg通过对尺度空间的
