航空影像多视匹配方法研究-毕业论文.doc

1、 南阳师范学院 20XX 届毕业生 毕业论文 题 目： 航空影像多视匹配方法研究 完 成 人： 班 级： 学 制： 专 业： 测绘工程 指导教师： 完成日期： 目录 摘要 . (1) 关键词 . (2) 1 绪论 . (2) 1.1 选题的意义 . (2) 1.2 国内外发展现状 . (2) 1.3 论文的内容与技术路线 . (4) 2 匹配的基本原理 .(5) 2.1 灰度匹配 . (5) 2.2 特征匹配 . (5) 2.3 两者之间的比较 . (6) 3 基于概率松弛的影像匹配 . (6) 3.1 双视松弛法影像匹配原理 . (6) 3.2 多视松弛法影像匹配 . (8) 3.2.1 多

2、视匹配的处理 . (8) 3.2.2 由多视相关系数计算初始概率 . (9) 3.3 粗差点的剔除 . (12) 3.4 金字塔影像匹配结果的传递 . (12) 4 基于物方面元的多视最小二乘匹配 . (13) 4.1 共线方程约束的多片最小二乘 匹配及不足 . (13) 4.2 基于物方面元的最小二乘影像匹配 . (14) 5 总结展望 . (19) 5.1 总结 . (19) 5.2 展望 . (19) 参考文献 . (19) Abstract. (19) 第 1 页 共 19 页 航空影像多视匹配方法研究 摘要 ： 由于航空影像获取的便捷性、高效性和高信息容纳性，用摄影测量的方法从影像进

3、行对象的几何特征 (或几何要素 )的提取，仍然是目前获取数据的主要手段，但是由于人工地物数据获取非常耗时，费用很高，因此开发自动的测图算法是很重要的。本课题的研究不仅具有实际意义，也具有很好的科学价值。 本 文针对航空影像的特点，主要对多视影像匹配进行研究。把 基于视差格网的整体松弛影像匹配算法推广到了多视影像匹配。探讨了基于物方空间三维点的松弛法影像匹配方法。在多视匹配三维点的估计方面，研究了一种基于物方面元的单点多片最小二乘算法。该方法不仅减少了需要估计参数，还可以得到面元的法向量。 关键词 ： 多视影像匹配 ;双视影像匹配 ;松弛法匹配 ;最小二乘匹配 1 绪论 1.1 选题的意义 在当

4、今信息社会中信息技术正深刻的改变着社会的各个方面。对信息的获取、加工、处理和应用已成为现代信息社会最基本、最重要的任务之一。随着 计算机软硬件技术的迅速发展特别是计算机在计算速度、传输速度、存储容量等方面的极大提高和在各行各业的迅速普及计算机图像处理技术也迅速发展并广泛应用在信息社会中起到越来越重要的作用。 人类所获得的 70%以上的外界信息是来自眼睛摄取的图像。图像是人类获取视觉信息的主要途径。所谓“图”就是物体透射或者反射光的分布 ,“像”是人的视觉系统接收图的信息而在大脑中形成的印象或认识。前者是客观存在的后者是人的感觉图像是两者的结合。在许多场合中没有其他形式比图像所表达的信息更丰富和

5、更真切。将图像技术和计算机技术结合在一起形成 了数字图像处理与分析技术。数字图像处理与分析技术在不同领域的应用产生了不同的应用学科。目前已发展了多门相关的应用学科计算机视觉、机器人视觉、模式识别与人工智能、数字光学测量和数字摄影测量学等。数字图像处理与分析技术已经和计算机一样成为科学研究中的一种基本、通用的工具。图像匹配技术是计算机视觉中的一个关键技术很多应用领域都离不开数第 2 页 共 19 页 字图像的匹配技术。计算机所处理的是数字图像匹配技术就是如何利用数字图像处理技术来求解对应性的问题。 1.2 国内外发展现状 图像匹配国内外研究现状图像匹配在近几十年来一直是人们研究的热点和难点最早的

6、研究是在 70 年代美国从事飞行器辅助导航系统等军事应用研究中提出来的。经历了 10 多年的发展从 80 年代以后其应用逐步从原来单纯的军事应用扩大到其它领域。 同时对匹配方法的通用性及可靠性也有一定要求。已研究比较多的匹配方法主要分为基于图像灰度的匹配方法和基于图像特征的匹配方法。 基于灰度相关的图像匹配方法主要处理不存在旋转的匹配对象且已经提出了各种各样针对灰度匹配的方法如 Leese 于 1971 年提出的 MAD 算法 Barnea D I和 Silverman 于 1972 年提出了序贯相似性检测法 SSDA 紧接着又提出了归一化积相关算法 NC这些方法在时间复杂度或匹配精度上均存在

7、一定问题不适应于实际的匹配应用。对各种匹配快速算法的研究主要是从尽可能减少匹配运算量或搜索的位置数这两个角度入手。后分别对 MAD、 NCC 和SSDA等经典模板匹配算法进行改进以提高匹配速度将多个算法进行融合以提高匹配速度和准确度又提出新的匹配方法即基于图像灰度值编码的匹配方法较传统匹配算法在速度上提高了一个数量级但其仅适应于矩形匹配对象且对局部光照变化非常敏感从而影响匹配准确度。但在 实际应用当中一般以不规则匹配对象居多且环境的光照变化也是非常不稳定因素因此算法设计过程中必须考虑这几个因素。典型的还有在搜索策略上进行改进的一系列方法分层搜索技术、遗传算法、最小二乘、模拟退火、能量最小、削减

8、搜索分支、多子区域相关匹配等。 匹配速度主要从两个方面来分析一方面分析在同样硬件环境下同样匹配精度和要求下比较所研究方法和其它方法的实际运算时间。另一方面分析算法进行算法时间复杂度的比较。由于基于灰度相关的图像匹配方法不能解决匹配对象存在旋转情况下的匹配问题所以继续研究基于特征的图像匹配方法主要是针对匹 配对象存在旋转情况下的匹配方法。最早对旋转图像的匹配研究是遍历的旋转搜索法每旋转一个角度计算相关性或先估计一个旋转角度在这个估计角度范围内进行遍历搜索很显然该方法速度非常第 3 页 共 19 页 慢。 Farhan Ullah 提出了方向码方法利用图像方向码的直方图进行相关性比较其前提条件是己

9、知道匹配图像的大致旋转角度如果是任意角度就将模板在 360 内任意可能角度旋转以后再跟待搜索图匹配速度很慢。 1992 年Tsai提出了圆投影匹配方法用一个圆环内的象素平均值进行匹配可降低噪声的影响。同时不变矩方法在图像珏配中的应用也十分广泛但其计算量大匹 配速度慢不满足匹配的实时性要求。对旋转图像的研究重点是如何更有效地在原图像和变换后的图像中提取旋转、缩放、尺度变换等不变特征以提高匹配精度和匹配速度。常使用的特征包括边缘、区域、曲率、面积、线交叉点、质心等其中以边缘和区域边界最常用它们可由边缘检测方法和图像分割方法得到。从上述分析可知一方面匹配问题是研究热点另一方面也说明匹配问题仍然有许多

10、技术难题没有解决且急需解决。在上千种算法中匹配问题在准确性、可靠性两方面几乎找不到通用的、一劳永逸的算法。 1.3 论文的内容与技术路线 本论文主要针对影像的多匹配方法进 行了探讨与研究，主要采用基于概率松弛的影像匹配还有基于物方面的最小二乘法多视影像匹配，主要讨论了这两种多视的计算方式、应用条件及常用范围 。 松弛法整体影像匹配通过局部松弛来选出匹配点和传递匹配点信息，通过影像金字塔上的多级匹配来实现整体匹配可靠性。松弛法匹配基于地形局部平滑原理，即在局部范围内地起伏较小 (即左右视差可认为是平滑变化的 )。对于每个参与匹配特征点，利用相似性测度，如相关系数的峰值，找出右片上可能的同名点作为

11、候选匹配点。根据地形的平滑性，同名点应能获得较大的邻域支持，而错误的候选点的邻域支持较小。 在松弛迭代过程中，正确的候选点的概率值在迭代中得到增加，错误的候选的概率值在迭代中不断减小。迭代若干次数后，正确的候选点概率值收敛 1，错误的候选点收敛到 O。从而得到正确匹配。 在影像金字塔的顶部，分辨率降低，局部的相容性相当于原始分辨率影像上大范围的相容，保证了匹配可靠性。通过上层匹配的信息为下层匹配提供准确、可靠的近似值，可以减小 匹配候选点搜索范围，加快匹 配速度。本章结合双片核线影像介绍松弛法整体影像匹配的原理。然后介绍多视影像对匹配的改进。最后介绍一种基于物方面元的最小二乘影像匹配新方法。

12、第 4 页 共 19 页 松弛法影像匹 配的关键点是 : .匹配点候选的生成 .松弛邻域的结构 .概率更新 .收敛条件 2 匹配的基本原理 图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。 2.1 灰度匹配 灰度匹配的基本思想 :以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利 用两个信号的相关函数，评价它们的相似性以确定

13、同名点。 灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。最经典的灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。 利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，所以这些方法很少被使用。现在已经提 出了一些相关的快速算法，如幅度排序相关算法， FFT 相关算法和分层搜索的序列判断算法等。 2.2 特征匹配 特征匹配是指通过分别提取两个或多个

14、图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。 基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。特征匹配首先对图像进行预处理来提取其高第 5 页 共 19 页 层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。 特征匹配需要用到许多诸如矩阵的运 算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。基于图象特征的匹配方法可以克服利用图象灰度

15、信息进行匹配的缺点，由于图象的特征点比较象素点要少很多，大大减少了匹配过程的计算量；同时特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度；而且特征点的提取过程可以减少噪声的影响，对灰度变化，图象形变以及遮挡等都有较好的适应能力。所以基于图象特征的匹配在实际中的应用越来越广泛。所 使用的特征基元有点特征 (明显点，角点，边缘点等 )边缘线段等。 2.3 两者之间的比较 特征匹配与灰度匹配的区别：灰度匹配是基于像素的，特征匹配则是基于区域的，特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。 特征是图象内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何

16、图象和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。同时，在纹理较少的图象区域提取的特征的密度通常比较稀少，使局部特征的 提取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。 3 基于概率松弛的影像匹配 3.1 双视松弛法影像匹配原理 双视影像匹配一般是在核线影像上进行。如图 3. 1，在左片核线影像式 jif , 建立一个一定间隔的规则格网。对每个格网点 ( 0,cro )设对应的像素坐标为 ( 00,ji )，松弛法匹配的算法可以描述如下 :

17、(l)按给定的窗口大小按式 (3-1)在右片同名核线上的搜索范围内进行相关计算，得到左片格网点为中心的影像窗口与搜索区域内的每个像元为中心的影像窗口的相关系数。对于左片以 (i， j)为中心的目标窗口， -个左右视差山确定了在右片上相应的搜索第 6 页 共 19 页 窗口。相关系数的计算公式为 : 错误 !未找到引用源。 (3-1) 这里， ijf 几为左影像目标窗口 (i， j)力处的像素值， wf 为目标窗口的灰度均值； xjig ,为右影 像搜索窗口 (i， j+ x )处的像素值， wg 搜索窗口的灰度均值。 (2)对搜索范围内的每个点进行扫描，记下大于给定阂值的相关系数的峰值点，作为

18、匹配候选点 (或称匹配假设 )。 (3)假设格网点 ( 0,cro )有 n个候选匹配点。为方便起见，把格网点 ( 0,cro )用 i表示，候选匹配用 k表示，候选匹配个数用 in 表示； i点的 8邻域点用 j表 示，候选匹配用 l表示。则第 i点的第 k个候选的概率为 错误 !未找到引用源。 (3-2) 这里， k=0时表示零匹配，零匹配的虚拟相关系数设为 : 在每个格网点的匹配候选生成后，按 8邻域进行松弛迭代，不断修改每个候选的匹配概率，直到迭代收敛。从匹配点的唯一性和视差变化的平滑性等条件出发，利用Byaes原理可以得到概率松弛公式如下 : 错误 !未找到引用源。 (3-3) 错误

19、 !未找到引用源。 (3-4) 错误 !未找到引用源。 (3-5) 式中， rikp 为第 i点第 k个候选点第 r次迭代的匹配概率， ijklc 为第 i点的第 k个候选点与第 j点第 l个候选点的之间的相容系数，为左右视差较jlik xx 的函数 是为相容系数的调整参数 10,cc 为松弛系数 iN 为第 i点的邻域。 第 7 页 共 19 页 图 3.1 双片核线影像图匹配 图 3.2 多视候选匹配的搜索与验证 3.2 多视松弛法影像匹配 3.2.1多视匹配的处理 多视影像的像方松弛匹配采取与双片松弛匹配相似思路进行。主要的改变是同名点的搜索在原始影像上沿着核线进行。而式（ 3-5)中的

20、视差jlik xx 用高差代替。因为在多视影像中，对于一个影像上的一点，对其 它片都有核线存在，视差不再是表示同名点的唯一参数。这时，可以用（ x， y， Z)代替（ x， y， P)。因为同名点在物方空间的交会是唯一的，所以 Z也是唯一的。多视影像的像方松弛匹配的目的就是要确定每个格网第 8 页 共 19 页 点上的高程。 如图 3.2，影像 l上的点 P在影像 2， 3， 4上都可能存在匹配候选，但只有一个是正确的。这些候选，有的在所有片上都出现，有的可能只出现在某一些片。为了找出正确的候选，必须把各片所有可能候选都找到，同时还要保证一个高程上只有一个候选，否则会影响候选概率的更新。 多视

21、候选匹配的搜索与验证如果一个直线段的方向平 行 (或近似平行 )于核线，则该线段上的点在该核线对上的相关系数会几乎相等，峰值将很不稳定。为了避免在与直线平行的核线上搜索匹配点，我们先计算待匹配点的梯度方向，如果梯度方向与核线垂直，则不在该核线上在搜索匹配候选点。多视影像匹配的一个优势就在于可以选择条件较好的影像来进行匹配候选的搜索。 综上所述，候选匹配搜索过程总结如下 : (1)对于待匹配影像上的每一待匹配点，计算该点的梯度方向 (2)根据给定的高程范围 ( maxmin,ZZ )计算该点在物方空间的光束直线段),(),( m ax11m in00 ZYXPZYXP HL 。 (3)在每个影像

22、上 (除本影像外 ) a)计算直线段凡 PH在该影像上的投影 (即核线段 ) ),(),( 1100 yxPyxP HL b)在核线段 pLPn上计算每个像点的相关系数 c）寻找相关系数的峰值点 d)对每一峰值点，按空间前交公式计算出空间坐标 (X， Y,Z),并投影到其它片进行验证，即计算相关系数，如果相关系数大于给定阐值那么认为在该片上得到验证。 e)把峰值点加入候选匹配队列。在加入前，先检查该点是否已经在队列中。假如不存在则加入。 在进行多视验证时，考虑到投影误差一般会在投影点一 定的半径内，可以取投影点周围一定半径内相关系数最大的点来进行判断。因此可以看出，每个候选匹配点的空间坐标是由前两个匹配影像上的像点计算的，其它的影像只起到验证的作用。这样多个影像的信息没有被充分利用。为了利用所有影像的信息，需要按多片最小二乘影像匹配求得唯一的坐标值。 3.2.2由多视相关系数计算初始概率 假设目标影像有 m个匹配影像点。设目标影像点 i在像片 j上有 jn 个相关系数峰值点。假设按高程对不同视的候选同名点进行合并后，像点 i总共有 n个候选点，每