1、东北石油大学本科生毕业设计（论文）1一种完全仿射不变量的图像比较法GuoshenYu CMAP,Ecole Polytechnique, 91128 Palaiseau Cedex,FranceJean-Michel Morel*CMLA,ENS Cachan,61av.duPresidentWilson,Cachan 94235,France文摘一种完全仿射不变量的图像比较法,对 Affine-SIFT(ASIFT)作出简要介绍。当 SIFT 仅遵循四个参数即缩放、旋转和平移时是完全不变的,新方法对两个剩下参数: 定义相机轴方向和定义相机角度方向。针对任何预测;模拟所有的视图都取决于这两个参
2、数是否可行。这个方法可以依靠识别特征所进行的非常大的仿射扭曲来衡量一个新的参数,过渡倾斜。先进的方法过渡倾斜几乎不超过 2 (SIFT)、2.5(Harris- Affine，Hessian -Affine)和 10 个(MSER)。ASIFT 能处理过渡倾斜在36 和更高的(见图 1)。索引词影像匹配，仿射不变性，尺度不变，放射正常化，SIFT。1介绍局部图像检测器通过图像比较按其增量不变性属性可进行分类。他们都是平移不变的。Harris 角点检测3是旋转不变的。这 Harris Lap lace（拉普斯）,Hessian（海赛函数）-Laplace 和DOG(Difference of -
3、Gaussian（高斯函数）)区域检测器8、10、6,2是旋转不变和尺度不变的。一些基于力矩区域检测器5,1,包括 Harris -Affine（仿射）Hess ian-Affine 区域9,10检测器,一个边缘检测点17,一个4熵检测,两个水平线检测的 MSER (“最稳定极值7地区”)和 LLD (“水平线描述符”)15的设计是仿射不变的转变。MSER,特别说明,已被证实通常比其他仿射不变检测效果更好,紧随其后的是海赛-仿射和哈里斯-仿射（12、8、10)。这些方法通过修补局部斑块,区域,或相当经历了一个未知的仿射变换。归一化变换后他们得到一个标准的对象,仿射变换的影响已经消除。然而,当一
4、个较大比例变换出现时 (事实上比 3 大),SIFT 仍优于所有的其他方法6。事实上,实东北石油大学本科生毕业设计（论文）2践证明数学上的14,SIFT 是完全尺度不变的,指出6没有完全尺度的归一化方法或仿射不变性:“然而,这些方法是尚未完全仿射不变量,当他们开始与初始特征尺度和地点选择用一种无仿射变换方式时，却由于开发全仿射空间成本过高。”图 1 .图像对高的转变倾斜 t 36 度。底部:ASIFT 发现正确的 116 场。SIFT，哈里斯-仿射,海赛-Affine,MSER 完全失效。2仿射相机型号形变引起的视点的变化,可以在局部地区模拟为仿射平面转换,给出了对象的分段光滑的界线12。因此
5、,(局部)摄像机图像变形模型下运动是 U(x,y) -U(ax + by+ e,cx +dy+ f),A= 是任何线性平面图cdab用正值的决定因素。任何此类图的分解图 2. 公式(1)的几何解释A= (1)cosin01cosinit我们注意到 A= ,在此 0, t 决定了 A, 属于 0,180), RTt表示了平面的旋转与角度、Tt(t 1)被称为倾斜度。图 2 显示。解R东北石油大学本科生毕业设计（论文）3释一个摄像机运动(1): 和 = arccos1 / t 是相机的视角角度和以为参数的相机自旋转。在这个仿射模型相机远离平面物体。从正面的位置,一个摄像机运动平行于该对象的平面形象
6、包括旋转。这个平面包含正常和光轴在一个固定垂直面上来确定一个角度 。这个角度被称为经度。其光轴然后做出 a 转角垂直于图像平面 u.这个参数被称为纬线。倾斜 t 1 被定义为 tcos = 1。镜头可以绕其光轴(旋转参数 )旋转。 最后但并非最不重要,摄像机可以向前或向后移动,这是通过测量变焦参数。简而言之,(1)模型的图像变形 u(x,y)u(A(x,y)摄像机运动所致一个正面视点 = 1,t0= 1, = 0 到斜视图特征由 ,t, 和 。03. 高倾斜旋转方程(1)定义了绝对倾斜,即当镜头通过比从一个正视图到斜视图得图像形变率。但相比图像 u1 (x,y)=U(A(x,y)和 u2(x,
7、y)=u(B(x,y)一般从两个相机的倾斜位置得到。图 3. 绝对的倾斜与过渡倾斜之间的区别。左：经度 = ，纬度 =30 度， =60度，绝对倾斜 t=1/cos =2/ ,t=1/cos =2,过度倾斜 T（u1,u2）=t/t= .右： = +9033度， =60， =75.3 度，t=2,t=4,T(u1,u2)=tt=8.定义 1.给出了一个平面图像的两个视点, u1(x,y)=U(A(x,y), u2(x,y) = U(B(x,y),我们称过渡倾斜 T(u1,u2)和过渡旋转 (u1,u2)独特参数满足 BA = 的条件,用公式(1)表示。121RTH图 3 从不同的观点对两幅图像
8、的仿射过渡进行阐述。特别是绝对倾斜与过渡倾斜之间差异。与这两个绝对倾斜 t 和 t,在两个正交方向 = + / 2 上,一个能确认过渡倾斜 u2 和 u1 之间的结果 T=tt。因此,两个中等程度的倾斜会导致一个大的过渡倾斜!因为在实际情况下倾斜可达到 6 度甚至 8 度,很容易明白过渡倾斜可以到 36 度,64 度,和更多。图 1 显示了 ASIFT 结果在图像对正交的视点(过渡旋转 = 90,绝对倾斜 t 6),以致过渡倾斜 t=36 度。这根本就不是一个例外的情况。过东北石油大学本科生毕业设计（论文）4渡倾斜的相关概念已经被证实，这一事实是最高过渡倾斜 Tmax 允许匹配两个图像绝对倾斜
9、 t 和 t是相互独立的从 t 到 t.实验结果已经检查 SIFT,逐步发展到 Tmax 2。可实现过度倾斜的哈里斯-倾斜仿射和海赛-仿射都接近 2.5。MSER 具有良好的鲁棒性,过渡倾斜 Tmax 在 5 至 10之间。但这种表示只有当图像间没有较大尺度转换和图像包含高对比度对象时才得以验证。ASIFT 的过渡倾斜通常大于 36 度,图像匹配超出人们能力范围(见图 1)。4ASIFT 算法仿真和标准化相结合的理念是 SIFT 算法最主要的成功因素。事实上,尺度变化模糊量，并不能归一化。因此 SIFTA 旋转和转换标准化,而模拟量全都放大。David Pritchard 的 SIFT 延伸
10、16模拟四个额外倾斜。这实际是该算法的第一步,如下所述，总结了如图 4。图 4。ASIFT 概论。许多对旋转和倾斜的图像是通过 SIFT 算法从图像 A、B 进行比较得到。1。每个图像转换通过模拟的方向照射相机轴变化造成的所有可能的线性失真。这些失真现象取决于两个参数:经度 和纬度 。图像经过-旋转其次是倾斜参数 t = | 1/cos |。数字图像中，倾斜被作为一 个 t-subsampling(二次抽样),因此需要前一种应用抗锯齿过滤器在方向 x,即高斯卷积法和标准偏差 C= ,在此 c = 0.814。12t2。对于有限的小数量的纬度和经度这些旋转和倾斜是可以实现的，这些采样参数的步长确
11、保模拟图像贴近任何其它可能产生的观点值。3。所有的模拟图像互相比较彼此尺度不变,旋转不变,转换不变的算法(典型的 SIFT)。自从 SIFT 规范相机转换平行于它的焦平面和相机绕其光轴旋转,但是模拟了尺度转换,所有六个相机参数归一化要么通过ASIFT 模拟4。模拟纬度对应倾斜 t = 1,a,a2.an，且 a 1。以一个 a=是一个很好的准确性和稀疏度。N 的值能上达到 5 或更大。这样,所2有从过渡倾斜 1 到 32 和更多的方法进行探索。东北石油大学本科生毕业设计（论文）55。经度遵循每一个 t 的算术系列 0,b / t，.,kb / t 在 b = 72度是一个良好的折中办法 K 是
12、最后的整数,kb / t 180 度。6。复杂度:每个倾斜是一个关于 t 的 sub-sampling（二次抽样）通过 t 除以图像面积。旋转图像的数量对每个倾斜是(180/72)t = 2.5t。因此,该方法复杂度是与倾斜的数量成正比。控制模拟图像总面积相当于控制该算法的复杂度。事实上,SIFT 搜索时间和内存的大小是与图像面积成正比的。这种复杂性可以进一步降低 a)二次抽样查询和检索的图像;b)鉴定成功的双(t， );c)回到最初的分辨率只有这些对。7。这种描述的结尾是一个具体的例子，多分辨率搜索策略如何在实际上可以做到只有两次算法速度要比 SIFT 慢。把一个 a= , n=5。2最大绝
13、对倾斜为每个图像是 5.7 和最大过渡倾斜上升至 32。模拟图像面积是 52.5 = 12.5 倍的原面积。通过一个 33 原面积二尺抽样,这个面积降低到 1.4 倍的原始图像面积。如果这用于减少查询和搜索图像,综合比较复杂性是等价的与 SIFT 两倍的复杂性相比。图 5 显示相对稀疏的样本范围经纬的需要。完成一个完全仿射的认可。一个数学证明ASIFT 是完全仿射不变的。图13 给出了 ASIFT 是完全仿射不变量的数学证明(明显的精度问题)。图 5。抽样(块点)参数=arccos 1/ t 在一个天顶观测角度观半球体。5实验和结果ASIFT 对比四种最先进的算法 SIFT6,Hessian-
14、Affine, Harris - Affine 9,10和7MSER 检测器，所有编码都用 SIFT 描述符6。图像用于试验的尺寸大小 600450。绝对倾斜试验图 6 显示设置为采用最大评估对绝对倾斜和过渡倾斜的各个算法实现。一本杂志和海报被拍到用于实验。不像 SIFT 及 ASIFT, Hessian- 东北石油大学本科生毕业设计（论文）6Affine, Harris -Affine，MSER 检测不是规律的鲁棒性变化。因此,集中在倾斜,图像对，选择比较自由比例变化。海报如图 7，被拍到与一个反射相机与观点角度，相机轴和正常的海报之间，变化从 0(正面视图)= 80。看来物体不太实际的持续
15、较大的纬度。表 1 比较 ASIFT 与他们的性能 ASIFT 与其他算法从数量的正确的比较。其中的一个匹配的结果如图 7。对这些图像 SIFT 过程中角度小于 45 度。图 6。相机的位置对系统进行比较 Harris-Affine 和 Hessian-Affine 的性能急剧下降，当角度从 45 到 65 度时。超出这个值,他们完全失效。MSER 大幅转弯在45 度角的时候也未能在 65 度。ASIFT 作用,直至 80 度。/tSIFT HarAff HesAff MSER ASIFT80 /5.8O3 0 0 2 11075 /3.9 2 1 0 4 15265 /2.4 5 12 5
16、6 46845 /1.4O171 54 26 15 707表 1。绝对的倾斜比较适合的观点不变性角度在 45 80 度之间。纬度角度与绝对的倾斜都列在左列。图 7 .对应的签名海报正面的看法在 80 度,绝对倾斜 t = 5.8 倾斜。ASIFT(显示),SIFT, Harris-Affine,Hessian-Affine 和 MSER (显示)发现分别为 110,3 - 0 和 2 个正确的结果。以上实验和其他许多得出最大绝对倾斜的以下结论。SIFT 几乎没有超过一个 tmax = 2 绝对倾斜。这个限制是 tmax 哈里斯- 2.5 仿射和Hessian-Affine。MSER 性能在很大
17、程度上决定于图像的类型。对于图像与高度对比地区,MSER 达到一个绝对的倾斜 t 4。然而,如果图像不包含高度与地区对比，如果尺度转换大于 3,MSER 的性能衰减强烈,甚至在东北石油大学本科生毕业设计（论文）7小倾斜。对于 ASIFT 一个 Tmax=5.8 的绝对倾斜，对应的极端观点角 80度总是达到的。过渡倾斜测试图 8 显示 SIFT,Harris-Affine 和 Harris-Affine 失效于看似简单的例子。事实上,小绝对倾斜 t1 =t2 = 2 结合经度角度 1 = 0 和 2 =50产生适度倾斜-3，没有达到这些方法。ASIFT 性能完美。MSER 作用很好在这些优化条件
18、下:高对比图像和无尺度变化。图 8 该杂志拍摄的照片对应关系以绝对的倾斜 t1 = t2= 2 经度角 1 = 0 和 2 = 50 度，过渡倾斜 T= 3。ASIFT(显示),SIFT (显示), Harris-Affine, Hessian- Affine 和 MSERF 发现分别为 745,3、1、3、87 正确的匹配。表 2 算法的性能对比，一组杂志图像都有一个 t = 4 绝对倾斜。因此最大过渡倾斜 16。这些图像,SIFT,Harris-Affine 和 Hessian- Affine 与 1.9 的过渡倾斜相抗争。大于这个值他们都彻底失效。MSER性能稳定到达 T 7.7 的过渡
19、倾斜。超过个价值、对应可靠识别的数量非常小。ASIFT 完美性能达到 T=16。,如图 1、ASIFT 实际上达到过渡倾斜大到 36。图 9 说明一个圆形建筑。在一个观点的改变,左右两边维持大的过渡倾斜。ASIFT 发现 123 对应覆盖该建筑物的左、中、右位置的部分。其它方法或是失败,或在中央部分找到少量匹配项。东北石油大学本科生毕业设计（论文）8图 9。圆形建筑、过渡倾斜 1.8、1(2)。ASIFT(显示), SIFT, Harris- Affine, Hessian-Affine 和 MSER(显示)找到 123,13、5、7 和 13 个正确的结果。6结论图 10 显示一个最后图像对
20、的中度过渡倾斜除了 ASIFT 所有的方法都失败。这是因为标准化方法,理想化的原则,没能在实践中正确处理与小形状、大绝对倾斜,和低对比度的问题。模拟方法目前更为广泛。首先限制性,他们被证明是可行的,由于观察范围是非常稀疏的采样如图 5所示。SIFT 方法的鲁棒性对中度过渡倾斜的关键是稀疏取样问题。7.参考文献1 A. Baumberg. Reliable feature matching across widely separated views. Proc. IEEE CVPR, 1:774781, 2000.2/TSIFT HarAff HesAff MSER ASIFT10/1.9 22
21、 32 14 49 105420/3.3 4 5 1 39 84230/5.3 3 2 1 32 56440/7.7 0 0 0 28 35150/10.2 0 0 0 19 29360/12.4 1 0 0 17 14570/14.3 0 0 0 13 9080/15.6 0 0 0 12 10690/16.0 0 0 0 9 88表2过度倾斜性能.第一幅图 1=0和两幅图的绝对倾斜t1=t2=4. 第二个图像 的经度2和生成过渡倾斜 T于第一列.东北石油大学本科生毕业设计（论文）9图10.图像匹配：道路交通标志.过度倾斜T2.6ASIFT(显示)，SIFT, Harris-Affine,
22、Hessian- Affine和MSER,分别找到50,0，0，0和1个正确匹配。2 L. Fevrier. A wide-baseline matching library for Zeno. Technicalreport, 2007.3 C. Harris and M. Stephens. A combined corner and edge detector.Alvey Vision Conference, 15:50, 1988.4 T. Kadir, A. Zisserman, and M. Brady. An Affine InvariantSalient Region Dete
23、ctor. ECCV, 228241, 2004.5 T. Lindeberg and J. Garding. Shape-adapted smoothing in estimation of 3-d depth cues from affine distortions of local 2-d brightness structure. ECCV, 389400, 1994.6 D.G Lowe. Distinctive image features from scale-invariant key points. IJCV, 60(2):91110, 2004.7 J. Matas, O.
24、 Chum, M. Urban, and T. Pajdla. Robust widebaseline stereo from maximally stable extremal regions. Image and Vision Computing, 22(10):761767, 2004.8 K. Mikolajczyk and C. Schmid. Indexing based on scale invariant interest points. Proc. ICCV, 1:525531, 2001.9 K. Mikolajczyk and C. Schmid. An affine i
25、nvariant interest point detector. Proc. ECCV, 1:128142, 2002.10 K. Mikolajczyk and C. Schmid. Scale and Affine Invariant Interest Point Detectors. IJCV, 60(1):6386, 2004.11 K. Mikolajczyk and C. Schmid. A Performance Evaluation of Local Descriptors. IEEE Trans. PAMI, 16151630, 2005.12 K. Mikolajczyk
26、, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir, and L.V. Gool. A Comparison of Affine Region Detectors. IJCV, 65(1):4372, 2005.13 J.M. Morel and G. Yu. ASIFT: A New Framework for Fully Affine Invariant Image Comparison. to appear in SIAM Journal on Imaging Sciences, 2
27、009.14 J.M. Morel and G. Yu. On the consistency of the SIFT method. to appear in Inverse Problems and Imaging (IPI), 2008.15 P. Muse, F. Sur, F. Cao, Y. Gousseau, and J.M. Morel. An A Contrario Decision Method for Shape Element Recognition. IJCV, 69(3):295315, 2006.16 D. Pritchard andW. Heidrich. Cloth Motion Capture. Computer Graphics Forum, 22(3):263271, 2003.17 T. Tuytelaars and L. Van Gool. Matching Widely Separated Views Based on Affine Invariant 东北石油大学本科生毕业设计（论文）10Regions. IJCV, 59(1):6185, 2004.
