1、 1 用于图像拼接的 稳健 匹配方法 摘 要： 为了 提高图像拼接过程中的特征匹配准确率和自动化水平，提出了一种基于 SIFT（ Scale Invariant Feature Transform）特征 的新匹配策略 。首先， 给定一个 基本 的匹配阈值，对 SIFT特征对 进行粗略判断，得到含有误匹配的特征对集合。其次 ，计算 特征对之间的 欧式距离最小值与次小值 的 比 率 ，取比率值最小的前 8个特征对的图像坐标数据，求解图像 透视 投影 模型 参数初值，并计算这 8个特征对的变换坐标与实际坐标之间的最大误差值。第三，计算上述 8个特征对的原始图像坐标的最 大分布范围，取其与图像尺寸的比
2、值作为匹配误差门限控制参数 k。最后，计算集合中的特征对变换坐标与实际坐标的差值，以该差值不大于 3k 作为控制条件，剔除误匹配，得到准确的匹配对集合，用于计算 透视 投影 模型 参数值 。 实验结果表明： 在待匹配图像有一定程度的视点、光照、旋转、比例变化等情形下，该方法具有稳定、可靠的特点 ，所用实验图像 达到了很高的 匹配准确率。 该方法 能无需 人工 选择匹配阈值 ， 有效地提高了图像 匹配的自动 化水平 。 关键词： 图像处理 ； 图像拼接；自动 匹配； SIFT 特征 ； 1 引言 图像拼接技术 主要 用于 解决受成像仪器的 视角大小限制，不能产生大视景图像的问题。所谓“图像拼接”
3、 (Image Mosaic)就是将两幅或者两幅以上相邻间具有部分重叠的图像进行无缝缝合，生成一张具有较宽视角的高分辨率图像或者 360 度视角的全景 (Panorama)图像的 处理过程 。 它 具 有广阔的应用前景， 例 如 ，可利用图像拼接结果快速生成数字地图、为城市规划提供依据 等。 图像拼接主要包括 拼接 预处理、 图像 配准和 图像 融合三个步骤，其中图像配准是核心，图像拼接算法很大程度上是由图像配准方法决定的。 图像 配准 一般分为两大类 1：一类是基于频率域的图像 配准 方法，如 Fourier 变换 2、 小波变换方法Contourlet 变换 3等 ；另一类是基于空间域的图
4、像 配准 方法，它主要包括基于区域的图像配准算法和基于特征的图像配准算法 4。随着一些良好特征提取算子的出现，基于特征的图像配准算法应用更加广泛，对于图像的变形，亮度变化具有较好的鲁棒性。基于特征 的方法 是目前研究最多、应用最广的一种匹配方法 ， 但当前已有的方法存在一个共同的问题 5：它们所采用的特征点的不变性一般较差，通常不具备对仿射或透视投影变换的不变性。而 有很多图像是具有 透视投影变换 特性的，如 航 空和卫星遥感 图像，使 用传统的特征点 匹配 方法一般难以取得满意的配准效果。 1999 年， Lowe 提出了 SIFT 方法 6，并于 2004 在文献 7中 完善了这一方法。
5、SIFT 方法所提取的特征点不仅对图像缩放、平移和旋转变换具有不变性，而且对光照变化以及复杂的仿射和投影变换也具有部分不变性， 比较 适合 用 于 存在透视变换的 图像配准 8。 SIFT 方法通常使用 特征 点 之间的欧 式 距离最小值与次小值之比作为匹配阈值，该阈值需要人工根据图像质量来确定，不能完全实现自动配准。 为了提高 SIFT 匹配方法的准确性， 有人提出了双向匹配的策略 9,10，但 这种 匹配方法仍然无法实现阈值的自动选择。 文献 11提出 基于置信度的匹配算法 ，其实质仍是 特征 对 的欧 式 距离最小值与次小值之比作为匹配阈值 。 文献 12加入了全局信息来提高匹配准确率，
6、但仍然要人工选择 特征 对 的欧 式 距离最小值与次小值之比作为匹配阈值 。文献 13虽然加入了彩色信息来增加匹配可靠性，还是 用 欧 式 距离最小值与次小值之比 作为相似性测度。文献 14使用了由 Fishler 和 Bolles 提出的 RANSAC算法 15， 虽 然能有效地估计 匹配点的内点和外点，剔除伪匹配，但 误差容忍度、随机抽取样本集的次数和一致集的大小 等参数仍需人工确定。 2 图像 变换模型 图像 拼接 一般是 采用对应匹配 (homographic mapping)模型。即原始图像是由针孔相机拍摄的投射图像，2 相机的运动主要是绕其光学中心的透视、平移、旋转和缩放。对应匹配
7、由 8 个参数 16决定： 212122211211111122 ,1ccbbaa aayxyxyx CBACBA（ 1） 其中 A 是表示缩放和旋转， B 表示平移， C 表示透视投影。按照摄像机在两次成像时的关系， 图像的变换模式 主要 分为平移、 刚性、仿射 和 投影 等 变换 形式。其中，平移变换是一种理想模型，实际中很难得到； 刚性变换只能 描述摄像机的平移运动和绕光轴的旋转运动， 图像中 物体 有 扭曲 变形时就会有较大误差；仿射变换 虽可以 描述摄像机的平移、旋转、缩放运动，但仍然不能较好地描述摄像机的水平扫动和垂直扫动 ； 投影变换则可以描述摄像机的平移、水平扫动、垂直扫动、旋
8、转、镜头缩放等运动， 适合用于图像变换关系比较复杂的场合 。 本文选择投影变换作为图像变换模型 ， 把它写成 8 参数方程组的形式， 变换关系为： 1118176151421817312112ymxmmymxmyymxmmymxmx（ 2） 这是一个有 8 个参数的非线性方程，可以 通过直接线性变换来求解。构建误差函数如下式所示： 1118172128127615141817212812731211ymxmyyymxymmymxmyymxmxyxmxxmmymxmx（ 3） 记： Aymxm 11817 ，上式化为 AymAyymAxymAmAymAxyAxmAyxmAxxmAmAymAxx2
9、8127126514128127123211111 （ 4） 误差方程用矩阵表示为： LCV （ 5） 其中： 87654321121211121211221000000111mmmmmmmmyyxyyxyxxxyxAyxAyxCLV TT对应的法方程为： 3 0 LCCC TT （ 6） 使用 4 对以上的匹配点坐标 ， 通过最小二乘法 求解相应的正规方程组来 解算出这 8 个参数 。 LCCC TT 1 （ 7） 由于这个方程组是非线性方程组， 求解时，先令 A=1，求出 m1m8 的初值 ； 再用此初值，求出新的 A 值，进行多次迭代，求出稳定的 m1m8 值，一般迭代 35 次即可得到
10、变换参数的稳定值。 直接线 性变换法求解过程相当稳定，避免了一般非线性方程求解时初值选取 不 恰当，会引起迭代发散的问题。 3 匹配策略的改进 SIFT 特征在图像中并没有明显的几何意义，它采用了像素灰度变化能取到极值的点作为关键点来构建特征描述符，寻找到的特征点的数量非常多，图像的分辨率越高，提取到的特征点就越多，例如在一幅 1024 768 的数字图像中，提取的特征点多达 2000 余个。 SIFT 特征 匹配 采用了简单有效的方法， 即 两幅图像特征点的 128 维描述向量之间的 最小欧 式 距离与次小欧 式 距离的比率 小于某个阈值时，认为特征对是匹配对 。这个比率 的物理含义是匹配对
11、的独特性，即当比率较大时，表明图像 1 中的某个特征点与图像 2 中至少有两个特征点（ 这两个点 具有 最小与次小欧 式 距离）非常 相似，由于图像的各种变换可能改变了特征向量的相似关系，使得在两对特征点的 欧 式 距离相差不大时，究竟哪一个是真正的匹配点不好判断 ，只好把它们都舍去 。而当比率较小时，表明图像 1 中的特征点与图像 2 中具有欧 式 距离最小值的 那个 特征点的相似性是非常独特的，再也没有其他点 比 它 更 相似了，这两个特征点 就可以判定为匹配 对 。可见，这种判据 的关键 是 确定合适的比率取值 。 遗憾的是，这个比率究竟取什么值，无法 直接确定，比率取得太小，匹配对数量
12、会很少；比率取得太大，误匹配率就会很高，即匹配准确率和成功率是一对矛盾。更重要的是，比率取什么值时能完全消除误匹配，又与图像的具体情况密切相关。 从图像变换模型可以看出， 只要能够得到 4 对以上的匹配点，就可以解算出一组变换参数， 而 SIFT 特征匹配过程中可以得到大量的匹配对，如果能确定 4 对以上正确的匹配点 ， 就可以解算出一组基本的变换参数，然后用这组变换参数把图像 1 中匹配对的坐标变换到图像 2 中，比较 匹配对 的 变换坐标与实际坐标之间的差距，如果 这个差距比较小，说明这个匹配对与变换模型 基本相符，可以认为是正确的匹配对，保留下来；否则是错误的匹配对，把它剔除 。基于 这
13、种原理， 本文 提出一种新的匹配策略。 第一步， 采用 SIFT 特征对之间的最小欧式距离与次小欧式距离的比值作为初始匹配条件，取一个对所有图像都通用的比率值（比如 0.7），对特征进行粗匹配， 得到初始匹配集合， 此时只能保证 7080%的匹配对是正确的 7。 第二步，基于比率值越小匹配正确性就越高的论断和 SIFT 特征数量多的特点， 对所有匹配对的比率值进行排序， 取 前 8 个 比率值最小的特征对，作为计算图像 投影变换 模型参数初始值的控制 点 。 并 利用 初 始变换参数，计算所有特征点的变换坐标与实际坐标之间的差值，如果差值小于某一个阈值时，认为是正确匹配对，将该 匹配 点保留；
14、否则，将该 匹配 点剔除。 由于在计算图像透视模型变换参数时采用的是最小二乘法，用 所求得的参数 求取特征点坐标时必 然 会带来误差，即使是计算 8 个控制点的图像坐标也存在一定的误差。因此，用特征点的变换坐标与实际坐标之间的差值来判断匹配是否正确，就必须给定一个阈值，此阈值太小，可能会损失过多的正确匹配对，太大则又会混入误匹配点。并且阈值选取还不能由人工根据匹配的情况来确定，本文采用按规则自动计算的方法。 4 第三步， 计算 8 个控制点的变换坐标与实际坐标之间的距离差值，进行排序，求出最大值 。 由于最好的 8 个匹配对往往会集中在图像变化最小的区域中，用这 8 个控制点 求解 出来的变换
15、模型参数去计算图像其他区域的特征点变换坐标时，会有比较大的误差，因此，必须增加判断阈值的误差门限，按照误差理论给出的准则，选择 3作为基本的 判断阈值。 第四步， 考虑到 摄像机 镜头 畸变 参数的影响，控制点越靠近图像中心，误差就越小，因此，给定判断阈值时，还须考虑这 8 个控制点的分布范围。如果这 8 个控制点能均匀分布在整个图像区域，判断阈值就取 3，如果集 中在某个小的区域，就适当扩大 判断阈值，取为 k 3，控制点越集中 k 值 就越大。 计算 8 个控制点分别在两幅图像中 y 方向（ x 方向）的最大距离 s，再与两幅图像 y 方向（ x 方向）的最大宽度 w 相比较，令 k=w/
16、s。 第五步，对初始匹配集合中的所有特征对进行校验，如果特征点的变换坐标与实际坐标之间的距离值小于 3k 时，认为是正确匹配对，将该点保留；否则，将该点剔除。 得到正确的匹配对集合。 4 实验结果及分析 按上述 匹配 方法进行了实验，图 1 所示为 一 对 实拍 图 像 进行匹配的结果 ， 具有较小的平移、旋转、比例和视点变换。 图 1(a)为 使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为887，其中， 明显的 误匹配为 16。图 1(b)为使用本文的方法进行匹配的结果，匹配点为 651，误匹配为 0。 (a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹
17、配结果 图 1 第一个实验 的 匹配结果 图 2 所示为 具有较小的平移、旋转、比例和视点变换，且自相似性很强的实拍 图 像匹配结果。图 2(a)为使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为 858，其中， 明显 的 误匹配为 45。图 2(b)为使用本文的方法进行匹配的结果，匹配点为 445，误匹配为 0。 5 (a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹配结果 图 2 第二个实验 的 匹配结果 图 3 所示为 具 有 平移、旋转、比例和视点变换的实拍 图 像匹配结果 ，其中比例变化比较大 。图 3(a)为使用特征点之间欧式距离最小值与次小值的
18、比率为 0.7 时的匹配结果，匹配点为 629，其中， 明显的 误匹配为 15。图 3(b)为使用本文的方法进行匹配的结果，匹配点为 452，误匹配为 0。 (a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹配结果 图 3 第三个实验的 匹配结果 图 4 所示为 具有平移、旋转、比例和视点变换的实拍 图 像匹配结果 ，其中平移变化比较大 。图 4(a)为使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为 433，其中， 明显的 误匹配为 12。图 4(b)为使用本文的方法进行匹配的结果，匹配点为 403，误匹配为 0。 (a) 使用比率为 0.7 时的匹配结果
19、 (b) 新方法匹配结果 图 4 第四个实验的 匹配结果 为了进行比较，作者 使用 不断 减小 比率的方法， 对上述 四 组图像进行了 匹配 实验， 人工校验匹配正确性， 其结果如表 1 所示。 Table 1 Matching results under different ratios Image 1 Image 2 Image 3 Image 4 ratios matching error matching error matching error matching error 0.7 887 16 858 45 629 15 433 12 0.6 726 5 647 20 461 3
20、357 4 0.5 548 0 448 5 288 1 282 3 0.4 375 0 279 1 131 1 199 0 6 0.3 214 0 130 0 40 0 94 0 从表中可以看出，虽然可以通过不断减小比率来剔除误匹配，最终使所有匹配对都是正确的。但此时的比率取值与图像有很大关系，有些图像取比率为 0.5 时就可以完全剔除误匹配，有些图像直到比率为 0.3时才 可以完全剔除误匹配， 且无法自动选择正确的比率值。 另外，如果以正确匹配时的特征点数与 比率为 0.7 时的特征 点数之比作为匹配效率， 则 4 幅 图像的匹配效率 变化情况如表 2 所示。 Table 2 Matchin
21、g results under different ratios Matching efficiency Image 1 Image 2 Image 3 Image 4 Original method 61.8% 15.2% 6.4% 46.0% New method 73.4% 51.9% 71.9% 93.1% Increment 11.6% 36.7% 65.5% 47.1% 作者对实际拍摄的图进行了大量的实验，即使在图像存在比例、 旋转、平移和视点变化 ，且 本身有很强的自相似性的情况下，所用实验图像 都达到了很高 的匹配准确率。 高分辨率航拍图像通用具有画幅大、清晰度好的特点，能提取
22、到的匹配对非常 多 ，因此， 新 的匹配策略 能够 有效 提取足够多的匹配对 ， 且 在匹配过程中无须人工干预，就 能 非常可靠地找到正确的匹配对， 该方法 为高分辨率航拍图像自动拼接奠定了良好的基础。 5 结论 本文对 原有的 SIFT 匹配策略进行了改进：首 先， 选取 一个 基本 的最小与次小 欧 式 距离 比率值，对 SIFT特征进行粗匹配，得到初始匹配集合 ；其次，基于特征对之间的 比率值 越小匹配正确性越好的论 断 ， 选取具有最小比率值的前 8 个特征对 ， 计算投影变换模型 初始 参数；第三， 计算 8 个控制点的变换坐标与实际坐标之间的相对最大距离差值 ，以 3作为基本的 判
23、断阈值； 第四，用图像 y 方向的尺寸与 8 个控制点分别在两幅图像中 y 方向的最大距离之比，作为误差阈值的控制参数 k； 最后， 对初始匹配集合中的所有特征对进行校验，如果特征点的变换坐标与实际坐标之间的距离值小于 3k 时，认为是正确匹配对 。 这种匹配方法无须根据图像的不同，人工调整阈值 ， 就能可靠地提取正确的匹配对 ， 非常适合需要使用自动匹配的场合 。 实验结果表明，即使在有比较大的比例、旋转、平移和透视变换， 以及图像本身自相似性很强 的情况下 ， 本文的方法也能稳定、可靠地实现自动配准， 所用实验图像 都达到了很高的 匹配准确率 ， 为 提高 图像 特征匹配的准确 率和自动化
24、水平 提供了一种有效的方法。 参考文献： 1 WANG Cheng-ru, ZHAO Na, ZHANG Li-li. Image registration and stitching based on triangle geometry similarityJ. Opto-Electronic Engineering. 2007， 34(8)： 87-92 (in Chinese) 王成儒，赵娜，张丽丽 . 基于三角形几何相似性的图像配准与拼接 J. 光电工程 . 2007， 34(8)： 87-92 2 CHEN li-guo. Research on the Fast Stitching
25、 Algorithm of Sequence Images in the Auto Rack Girder DetectionJ. Opt. Precision Eng., 2008,16(3):531-536 (in Chinese) 陈立国 .面向汽车车架纵梁检测的序列图像快速拼接算法 J.光学精密工程 ,2008,16(3):531-536 3 Chen Zhigang, Yin Fuchang, Sun Fu. Registration Technique for High-Resolution Remote Sensing Image Based on 7 Nonsubsampled
26、 Contourlet TransformJ. Acta Optica Sinica. 2009, 29(10):2744-2750 陈志刚，尹福昌，孙 孚等 . 基于非采样 Contourlet 变换高分辨率遥感图像配准 J. 光学学报 . 2009, 29(10):2744-2750 4 ZHANG Xian-Quan, TANG Zhen-Jun, LU Jiang-Tao. Image Stitching Based on Line MatchingJ. Computer Science. 2005,32(1)： 221-223 (in Chinese) 张显全，唐振军，卢江涛 . 基
27、于线匹配的图像拼接 J. 计算机科学 . 2005,32(1)： 221-223 5 GAO Chao， ZHANG Xin， WANG Yun-li， et al. Automatic stitching approach of aerial image sequence based on SIFT featuresJ. Computer Applications. 2007， 21(11):2789-2792 (in Chinese) 高超，张鑫，王云丽等 . 一种基于 SIFT 特征的航拍图像序列自动拼接方法 J.计算机应用 .2007， 21(11):2789-2792 6 LOWE
28、D G. Object recognition from local scale- invariant featuresC. Proceeding of ICCV. Piscataway, NJ,USA: Institute of Electrical and Electronics Engineers Inc ,1999,2:1150-1157 7 LOWE D G. Distinctive image features from scale- invariant keypointsJ International Journal of Computer Vision， 2004, 60(2)
29、： 91-l10 8 LI Xiao-ming, ZHENG Lian, HU Zhan-yi. SIFT Based Automatic Registration of Remotely-sensed ImageryJ.JOURNAL OF REMOTE SENSING. 2006， 10(6):885-892 (in Chinese) 李晓明，郑链，胡占义 .基于 SIFT 特征的遥感影像自动配准 J.遥感学报 .2006， 10(6):885-892 9 LIU Huan-min, WANG Hua, DUAN Hui-fen. A Bidirectional Matching SIFT
30、 AlgorithmJ. Ordnance Industry Automation. 2009,28(6):89-91 (in Chinese) 刘焕敏，王华，段慧芬 . 一种改进的 SIFT 双向匹配算法 J. 兵工自 动化 .2009,28(6):89-91 10 HUO Chun-lei， ZHOU Zhi-xin， LIU Qing-shan， et al. Remote Sensing Image Registration Based on SIFT and the Distance Between Generalized Tight Pair-wise PrototypesJ. R
31、emote Sensing Technology and Application. 2007,22(4):524-530 霍春雷，周志鑫，刘 青山等 . 基于 SIFT 特征和广义紧互对原型对距离的遥感图像配准方法 J. 遥感技术与应用 . 2007,22(4):524-530 11 YANG Xiao-min， WUW ei， QING Lin-bo， et al. Image feature extraction and matching technologyJ. Opt. Precision Eng., 2009， 17（ 9）： 2276-2282 (in Chinese) 杨晓敏，吴
32、炜，卿粼波等 .图像特征点提取及匹配技术 J. 光学精密工程 ， 2009， 17（ 9）： 2276-2282 12 JI Hua, WU Yuan-hao ， SUN Hong-hai, et al. SIFT feature matching algorithm with global informationJ. Opt. Precision Eng., 2009， 17（ 9）： 439-444 (in Chinese) 纪华，吴元昊，孙宏海 等 .结合全局信息的 SIFT 特征匹配算法 J. 光学精密工程 ， 2009， 17（ 2）： 439-444 13 Zhang Ruijua
33、n,Zhang Jianqi,Yang Cui,Zhang Xiang. Study on Color Image Registration Technique Based on CSIFTJ. Acta Optica Sinica, 2008, 28(11): 2097 2103 张锐娟 ,张建奇 ,杨 翠 等 . 基于 CSIFT 的彩色图像配准技术研究 J. 光学学报 , 2008, 28(11): 2097 2103 14 Liu Guixi,Liu Dongmei,Liu Fengpeng,Zhou Yaping. A Robust Image Registration Algori
34、thm Based on Feature Points MatchingJ. Acta Optica Sinica, 2008, 28(3): 454 461 刘贵喜 ,刘冬梅 ,刘凤鹏 等 .一种稳健的特征点配准算法 J.光学学报 ,2008,28(3):454 461 15 Fishchler MA, Bolles RC Random Sample Consensus: A Paradigm for Model Fitting with Application to Image Analysis and Automated CartographyJ. Communication Association Machine, 1981, 24(6):381-395 16 Mann S， Picard R W Video orbits of the projective group； a simple approach to featureless estimation of parametersJ IEEE Transaction On IP 1997， 6(9)： 1281-129
