1、基于多尺度分析的图像配准算法研究与应用,姓名：石和平学院：电子信息工程学院学号：1012204003,一、选题背景、目的、意义二、研究思路及基本理论介绍三、算法研究与应用 1、基于小波变换的图像配准算法 2、基于尺度空间理论图像配准算法 （1）SIFT算法 （2）SURF算法 3、图像拼接四、致谢,图像配准是将不同时间、不同传感器(成像设备)或不同条件下(气候、光照度、摄像角度和位置等)获取的同一场景的两幅或多幅图像进行匹配、叠加的过程。 图像配准是图像处理技术中一个十分关键的步骤，在计算机视觉、模式识别、遥感图像处理、医学图像处理、自动导航及人工智能等众多领域有着广泛的应用。,一、选题背景、
2、目的、意义,经过多年的研究，图像配准技术已取得了众多研究成果。目前，国内外同行都在关注图像配准的方式及其相关技术，如基于亚像素精度的图像配准和自动配准技术等。 多尺度技术作为一种有效的手段，在改良已有算法和研究新算法中，其特有的优势已得到越来越多研究者的认同。,二、研究思路及基本理论介绍,1、图像配准问题的核心,图像配准问题的核心，即为在变换空间中，寻找到一种最优变换，对同一景象的不同成像，实现某种意义上的匹配。,根据图像配准所利用的图像信息不同，图像配准算法可以分为：基于图像灰度信息的方法和基于图像特征的配准方法。其中，基于特征的图像配准算法具有计算量小、鲁棒性好、对几何形变适应性强等优点。
3、 基于此，本研究从两个方面延伸，一为结合已有基于特征的图像配准方法，使之与多尺度技术相结合；二为在多尺度下提取图像特征实现图像配准。,2、图像配准方法,图像的多尺度分析，简单地说就是将图像在不同的尺度上进行分解，从而使得图像的信息能在不同的尺度上得到相应程度的解释。 一般认为，在较大尺度下，特征点的定位不易准确，但却能较好的消除误检且能够检测到真正的特征点。反之，在较小尺度下，特征点的定位比较准确，但误检的比例会增加。因此，能同时体现大、小尺度特征提取优点的多尺度技术的应用就显得必要而且实用。,3、为什么选用多尺度技术,4、尺度,将尺度类比为照相机的镜头，那么，尺度由大到小的变化，相当于照相机
4、由远及近的向目标接近。大尺度空间与远镜头下的观察目标相对应，体现目标大致的概貌特征；小尺度空间对应于近镜头下的观察目标，可以观测到目标的细节部分。,5、多尺度技术分类,多尺度分析方面的理论中，最典型的例子为金字塔结构与小波分解，另一种重要的多尺度技术就是所谓的“尺度空间(Scale Space)”。,图像的二级小波分解,三、算法研究与应用,1、基于小波变换的图像配准算法,据C.Schmid等人的研究，Harris是目前效果较好的角点提取算法，不受照相机位置及光照的影响。由于只用到灰度的一阶差分和高斯滤波，计算量相对较小，当图像存在旋转、视点变化或灰度变化时，角点提取效果仍然不错。但是，它对噪声
5、比较敏感，在噪声的干扰下容易提取大量的伪角点。此外，传统的Harris角点检测算子并不是尺度不变的，角点容易产生漂移。并且图像中的特征点常出现在不同的尺度上，每一个角点的尺度信息是未知的。因此，将多尺度技术与Harris算法结合起来，在理论上和实际应用中都是有意义的。,一般来说，基于小波变换的图像处理，大都建立在对图像的小波分解与重构上，图像的小波分解将自动形成一个金字塔结构，将图像信息分为低频部分与高频部分，便于图像特征的提取与利用。结合小波变换的多尺度特性和Harris角点检测，得到一种基于特征点的多尺度图像配准算法，步骤如下：,基于小波变换的图像配准算法流程图,实验所用积木图,传统Har
6、ris角点检测法检测到的角点,下面两图分别为不加噪声与加高斯噪声时检测到的角点，从图中可以看出，其受噪声的影响较大。,用本文方法在不同尺度检测到的角点,scale=2,scale=1,在不同的尺度下，角点的位置及个数大概相当，明显改善了传统Harris角点检测不具备尺度不变性的缺点； 添加高斯噪声后，在对应同尺度上检测到的角点，虽然仍受到噪声的干扰，但与原算法相比，抗噪能力明显提高。,待配准图像与参考图像,图像间有一定的旋转与缩放,待配准图像,参考图像,scale=2时匹配结果,scale=1时匹配结果,图示为在两个尺度的匹配结果。 上图没有错误匹配对，下图中仅有一对匹配错误，算法具有相当的稳
7、定性。 另外，两个尺度下匹配点对的重复度较高。,总的来说，本文提出的基于小波变换的多尺度图像配准算法在抗噪性、定位精度以及匹配稳定性方面都有较好的效果。,2、基于尺度空间理论的图像配准算法,SIFT算子，全称为Scale Invariant Feature Transform，即尺度不变特征变换。SIFT特征点对图像具有尺度和旋转、缩放不变性，其抗噪性较强，对亮度的变化能保持一定的稳定性。 SIFT算子主要有以下几步： (1)尺度空间极值检测； (2)关键点的定位； (3)确定关键点的方向； (4)生成特征点描述子。,（1）SIFT算子,（2）SURF算子,2006年，Herbert Bay在
8、深入研究SIFT算法的基础上，进行了一些改进，从而提出了SURF(Speeded Up Robust Features)算法，即加速稳健特征算法。总的来说，SURF在特征点检测、主方向的确定以及特征描述子三个方面对SIFT进行了成功改进。,在参考图像和待配准图像中，用SIFT算子或SURF算子分别提取特征点，以最近邻(Nearest Neighbor,NN)方法来匹配，在一幅图像中取某个特征点，在另一幅图像中寻找其最近邻的特征点和次近邻的特征点。其中，前者所指点为与原样本的特征点间欧氏距离的最短特征点，后者指与样本的特征点之间的欧氏距离次短的特征点。,用最近的欧氏距离除以次近的欧氏距离，若其比
9、值小于给定比例阈值，则认为这是一对匹配点，反之，则认为这两个特征点不匹配。其中，给定比例阈值越大，所得的匹配点越多，但匹配精度较低；阈值越小，所得的匹配点越少，但也更加稳定。确定初匹配对后，结合RANSAC法去除误匹配点对，估算变换参数，得到最终配准结果。 本节分别用SIFT法和SURF法对给出的图像进行配准，并对其性能做出比较分析。,（3）实验结果,基于SIFT的图像匹配,基于SURF的图像匹配,图中，由SIFT算法得到了130对匹配点，而基于SURF的配准算法得到了30对匹配点。虽然得到的匹配点对数量不同，但两种算法都能由此计算出图像间的变换关系，进而对图像进行正确的配准。 比较研究后发现
10、，SURF算法比SIFT更快，而且其特征点的定位更加精准。,3.1 图像拼接基础 图像拼接(Image Mosaic)是将多幅具有重叠区域的图像拼合成一幅较大无缝图像的技术。具体点说，图像拼接是一种全景图像技术，对于一组存在重叠部分的图像序列，通过空间配准、图像变换、重采样及图像融合一系列的操作，形成一幅包含所有图像序列的全景图。在图像处理领域，配准与拼接是两个关联紧密的技术概念。图像拼接的核心步骤之一，就是实现两幅图像间的配准，图像拼接是配准的一个重要应用领域。,3、图像拼接,图像拼接技术的应用范围十分的广泛。在遥感图像处理领域，利用图像拼接技术，把多个局部区域的遥感图像，拼合成一幅包含完整
11、场景的图像；在虚拟现实中构建虚拟场景时，可用图像拼接技术来构建各类全景图像；日常生活中，我们可将几幅由数码相机所拍摄的照片拼接成一幅大的照片；此外，图像拼接技术在视频压缩和视频检索、医学图像分析以及军事等领域都有重要的应用价值。,3.2 基于SIFT的图像拼接,首先，利用SIFT算子提取两幅待拼接图像的特征点，采用最近邻(Nearest Neighbor，NN)算法进行匹配，并用RANSAC法消除误匹配点对； 其次，计算图像间的变换参数，确定图像间的变换关系，得到初步拼接图像； 然后，对上一步得到图像进行小波分解，在各个分解的子空间上进行加权平均融合，以消除拼接痕迹； 最后，使用重构算法，将全部子空间上的拼合图像融合为一幅全景图。,用于拼接的两幅原始图像,基于SIFT的图像匹配,图像拼接结果,谢谢大家！恳请大家批评指正！Thank You!,
