1、 南阳师范学院 20XX 届毕业生 毕业论文（设计） 题 目： 普通数码影像匹配方法的研究 完 成 人： 班 级： 学 制： 专 业： 测绘工程 指导教师： 完成日期： 目录 摘要 . 错误 !未定义书签。 1 绪论 . 2 1.1研究背景 . 2 1.2 影像匹配发展与 现状 . 3 1.3 研究目的与意义 . 4 2 影像匹配的基本原理的研究 . 4 2.1 影像匹配 . 4 2.2 基于影像灰度的影像匹配 . 5 2.3 基于影像特征的影像匹配算法 . 7 3 普通数码影像的匹配 . 8 3.1 基于普通数码像片的相关系数影像匹配方法 . 8 3.1.1 相关系数匹配基本原理 . 8 3
2、.1.2 相关匹配算法的改进 . 9 3.2 相关匹配算法的控制过程 . 9 3.2.1 粗匹配 . 9 3.2.2 精匹配 . 10 3.2.3 阈值的设定 . 10 3.2.4 特征点提取 . 10 3.2.5 双向匹配 . 10 3.3 匹配实验及结论 . 11 3.4 立体像对匹配方法 . 12 3.4.1 立体像对的构建与处理 . 12 3.4.2 匹配方法的研究 . 12 3.4.3 实验与分析 . 13 3.5 多基线普通数码影像的匹配 . 16 3.5.1 多基线普通数码影像的量测应用 . 16 3.5.2 多基线影像匹配研究的目的与意义 . 17 3.5.3 多基线立体匹配方
3、法 . 17 3.5.4 多基线立体匹配的约束 . 18 4 多基线影像匹配在工程测量中的应用 . 20 4.1 实验研究 . 20 4.1.1 外业摄影与控制点量测 . 21 4.1.2 内业处理与精度分析 . 22 4.1.3 立体测图与精度分析 . 23 4.2 实验结论 . 23 5 结论 . 24 参考文献 . 25 Abstract . 错误 !未定义书签。 第 1页（共 27页 ） 普通数码影像匹配的方法研究 摘要： 普通数码相机获取的影像具有成本低、分辨率高、数据采集简便、影像传输与处理快速等特点，解决了现场快速获取影像的问题，降低了近景摄影测量作业对设备及技能的要求。普通数码
4、相 机是非量测相机，所获取的像片属于近景像片，但相片没有已知的内方位元素且变形较大，因此普通数码相片的图像处理比较特殊。近年来，国内外学者对基于普通数码相机的近景目标三维数据进行了广泛的研究，但研究大多利用单基线影像进行同名点匹配，再采用自检校光束法或直接线性变换算法来解决目标的空间坐标。该方法存在对控制点的数量及分布要求较高、同名点匹配可靠性较低等缺点。 用于近景摄影测量的普通数码影像与航空影像相比 ,存在更为复杂的影像变形和影像遮挡等问题 ,这使得其影 像 匹配的难度大大增加 。 影像匹配是数字摄影测量的关键技术之一 ,也 是该领域持续关注和研究的热点。 本文通过对在常用的基于灰度的匹配算
5、法和基于特征点的匹配算法的基础上研究了一种更适用于近景摄影测量的最小二乘相关 系数 的普通数码影像匹配。通过对粗匹配、精匹配、阈值 的设定等一些控制条件来控制精度得到最优的匹配结果。 在最小二乘相关系数影像匹配方法的基础上又进一步探讨了多基线近景摄影测量的影像匹配方法，并讲述了相关的约束条件使其匹配的精确度进一步提高，之后进行实例分析将其应用到工程测量中，充分证明其可行性，精确性，以及不足之处。 影像匹配是一门被广泛应用和研究的技术，普通数码影像 匹配 有自 己的优越性，但本身在不同的环境条件下使用也有自己的局限性，在具体的使用过程中要依据具体情况选择不同的匹配方法以达到最优的结果。 关键词
6、： 影像匹配；普通数码； 相关系数 ；多基线 第 2页（共 27页 ） 1 绪论 1.1 研究背景 自上世纪 70 年代，美国从进行的 飞行器辅助导航系统、武器投射系统的末制导技术的应用研究中提出图像 匹配以来，它一直是学者们研究的热点和难点。它是在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅 影像在空间上一致，目前已经应用于许多领域：巡航导弹末制导采用图像匹配来确定导弹准确的位置；对 来自多个传感器的图像进行融合时，首先需要进行图像之间的配准；在立体视觉中，为了得到图像的深度图，需要寻找场景中同一点在两幅影像中的共扼对，这同样是图像 匹配 研究的
7、内容；此外，目标识别和跟踪中也广泛使用了图像匹配技术。图像 匹配技术是现代遥感技术、微电子技术和精密测绘技术的综合性产物 ,随着科学技术的迅猛发展，图像 匹配技术在近代信息处理，特别是在图像信息处理领域中占据着越来越重要的地位。从 20 世纪 50年代开始，人们就尝试摄影测量中的自动化试验，开始在模拟测图仪的像片盘上安装阴极摄像管（ CRT），将图像的灰度信号转化为电信号，利用电子相关器识别同名点，这种同名点的识别技术也被称为影像的匹配技术。随着计算机的迅猛发展，人们提出利用计算机处理数字图像，在数字摄影测量中是以影像匹配代替传统的人工观测，来达到识别同名点。摄影测量的基本原理就是利用立体像对
8、上的同名点进行空中前方交会、利用三度重叠的同名点进行模型连接、利用航带间的同名点进行航带连接、利用同名点进行光束法区域网平差等，因此如何代替作业员的眼睛进行立体观测、实现确定同名点的自动化，这是摄影测 量工作者长期追求的目标，是数字摄影测量的核心。图像 特征提取是图像 匹配和图像分析的基础，也是单张影像处理的重要任务，影像的局部特性在图像处理中具有非常重要的意义。目前，在目标识别、全景拼接和机器人视觉等影像处理领域中，影像的特征点提取受到越来越广泛的重视。通过影像特征的提取匹配不仅用于影像识别，还可以用于影像分割、配准、拼接等各个技术领域。对影像特征的研究已经取得了很多研究成果，随着人们探知世
9、界的深入，对影像特征的研第 3页（共 27页 ） 究将更加重要。 1.2 影像匹配发展与现状 摄影测量中最初的影像匹配是利用相关技术实现的，所以影像匹配也称为图像相关。由于原始像片中的灰度信息可 以转化为电子信息、光学信息或数字信息，因此可构成电子相关，光学相关，数字相关等不同的相关方式。但是，无论是电子相关、光学相关还是数字相关，其理论基础是相同的。都是根据两个信号的相关函数，评价它们的相似性，以确定同名点。数字摄影测量是根据数字影像相关原理利用计算机对数字影像进行数字计算的方式完成影像的相关，识别出两幅（或多幅）图像的同名点。计算时，通常先取出一张像片（左片）以待定点为中心的小区域中的图像
10、信号，然后搜索该待定点在另一图像中的相应区域中的一些信号，计算两者的相关函数，以相关函数最大值对应的相关区域 中心为同名点。即以图像信号分布最相似的区域为同名区域，同名区域的中心为同名点，这是自动化立体量测的基本原理。国内外有大量的研究者对影像匹配开展研究工作取得了较好的成果。按照 Brown 理论，影像匹配包括如下几个方面的问题 :特征空间；相似性度量；搜索空间；搜索策略；决策策略。在国内外学者的努力下，影像匹配算法已经取得了很大的进展，不断有各类新的算法出现。但由于实际环境复杂多变，已有的算法总存在着某些方面的不足，目前研究方向主要有 :(1)研究与特定理论、方法和工具相结合的匹配技术。如
11、基于小波变换的匹配技术，利用它 多分辨分析的思想，构造图像的塔式分解，可由粗到精的分析图像数据。在影像匹配过程中，先在低分辨率下对图像进行全局匹配，然后在高分辨率下对图像的细部进行匹配，其结果减少了迭代时落入局部最优点的可能性，又提高了匹配运算速度和精度，已成为目前的前沿课题之一。 (2)复合匹配算法的研究。由于拍摄环境复杂多变，现有的算法在某些方面都有不尽人意的缺陷，尚且没有一种算法能解决所有的影像匹配问题。影像的不同特征反映了影像不同的信息，对不同特征进行匹配会得到不同的结果。将多个特征、多个算法融合与集成可以克服单个特征和算法的局限性 ，实现多特征、多算法优势互补，提高匹配的适应性。(3
12、)基于解释的特征匹配方法的研究。基于解释的影像匹配技术需要第 4页（共 27页 ） 建立在图片自动判读的专家系统上，因而非常困难，尚未取得突破性进展。 1.3 研究目的与意义 影像匹配技术是图像处理、计算机视觉和数字摄影测量中相当重要的一门技术。它的应用领域相当广阔，如航空图像分析，立体视觉，自动地图，运动分析以及影像的 3D 特征恢复等。巡航导弹末制导采用影像匹配来确定导弹准确的位置；对来自多个传感器的图像进行融合时，首先需要进行影像之间的配准；在立体视觉中，为了得到图像的深度图，需 要寻找场景中同一点在两幅图像中的共扼对，这同样是影像匹配研究的内容。影像匹配在近几十年来一直是人们研究的热点
13、和难点，影像匹配技术已经是计算机视觉和图像处理领域中一项非常重要的工作，对其进行深层次的研究已经是刻不容缓的工作。由于影像之间存在复杂多变的成像畸变，因此影像匹配技术是一个非常困难的课题。在影像匹配的过程中，既涉及到图像校正、特征描述等中等处理过程，还涉及到图像的高层匹配、识别等方法。所以，对它们进行研究，具有理论和实践双重意义。 2 影像匹配的 基本原理 的研究 2.1 影像匹配 影像匹配即通过一定的匹 配算法在两幅或多幅影像之间识 别 同名点的过程。最初的影像匹配是利用相关技术实现的，因而也有人称影像匹配为影像相关。它是图像融合、目标识别、目标变化检测、计算机视觉等问题中的一个重要前期步骤
14、，在遥感、数字摄影测量、计算机视觉、地图学以及军事应用等多个领域都有着广泛的应用。 由于原始 像 片中的灰度信息可转换为电子、光学或数字等形式的信号，因而可构成电子相关、光学相关或数字相关等不同的相关方式；而由于可运用于多个领域中，影像相关所匹配的对象也是多种多样的，如卫星遥感影像、航空摄影影像、近景摄影影像等，这些原始数据往往 都不是理想的数据源，因此要针对各种特点选择合适的算法进行匹配。但一般来说，无论是光学相关、电子相关还是数字相关，所第 5页（共 27页 ） 匹配的对象也有不同，但其理论基础都是相同的。 影像相关是利用互相关函数，评价两块影像的相似性以确定同名点。即首先取出以待定点为中
15、心的小区域中的影像信号，然后取出其在另一影像中相应区域的影像信号，计算二者的相关函数，以相关函数最大值对应的相应区域中心点为同名点。即以影像信号分部最相似的区域为同名区域，同名区域的中心点为同名点。这也是自动化立体量测的基本原理。 同名点的确定是以匹配测度为基础的，因此 定义匹配测度是影像匹配最首要的任务，基于不同的理论或不同的思想可以定义各种不同的匹配测度，因而形成了各种影像匹配方法及相应的实现算法。常见的基于像方灰度的影像匹配算法有相关函数法、协方差函数法、相关系数法、差平方和法、差绝对值和法、最小二乘法等，基于物方的影像匹配算法有铅垂线轨迹法（ VLL， Vertical Line Lo
16、cus），另外还有基于像方特征的跨接法影像匹配，金字塔多级影像匹配， SIFT 等。 常用的影像匹配方法可分为两种：基于影像灰度匹配的影像匹配算法和基于影像特征的匹配算法。 2.2 基于影像 灰度的影像匹配 基于影像灰度的影像匹配算法 以左、右相片含有相应影像的目标区和搜索区中的像元的灰度作为影像匹配的基础，利用某种相关度量，例如用协方差或相关系数为最大来判定左右影像中的相应像点。影像匹配可以用二维的窗口，也可用一维的窗口（按核线排列）的像元灰度参与计算。一维相关时，搜索仅在一维方向进行，具有计算量小，精度好的特点。基于灰度的影像匹配方法中，以最小二乘影像匹配算法精度最高。 设两个随机变量 A
17、 和 B 分别代表左、右 两张 数字影像中的一个N N 的像元灰度阵列， A 和 B 像元灰度阵列的均值用下式计算。 第 6页（共 27页 ） 21121111NNijijNNijijaaNbbN (2-1) A 和 B 像元阵列灰度的方差为 222112111 ()1 ()NNijijNNijijaaNbbN(2-2) 常用的相关算法 协方差 CA 两个相应和阵列像元灰度之间的协方差由下式可得 ： 21211 ( ) ( )1NNij ijijNNij ijija a b bNa b a bNC (2-3) 协方差 CA max 的两个影像灰度阵列为相应匹配影像阵列，其中点即相应像点。 相关
18、系数 r r C r=max(r 1)的两个像元灰度阵列为相应匹配影像阵列，其中点即为相应像点。 第 7页（共 27页 ） 2.3 基于影像特征的影像匹配算法 基于影像特征的影像匹配算法 利用了数字影像处理中的特征边缘提取技术，先检测出左右影像中的特征点，并利用匹配算法或其它方法匹配出特征点对。基于特征的影像匹配有较高的可靠性，但匹配的精度低于基于灰度的最小二乘影 像匹配 算法。一种比较好的方案是将基于特征的影像匹配 与基 于灰度的最小二乘影像匹配结合在一起，形成分层有粗到精的匹配方案 。从而使最终的 匹配结果既有 较高的可靠性，又有最小二乘影像匹配的高精度。 点特征提取算法很多，下面主要论述
19、 Forstner 算子的算法思想： 首先用一个简单算子对全幅图像所有像元进行处理，确定出信息丰富区域，然后用 Forstner 算子对信息丰富区的像元进行处理，搜索具有尽可能圆的灰度误差椭圆的点作为特征点。这种算法特点是对所有像元运算仅是一个简单算子，只有位于特征区域上的像元采用复杂算子，因而计算效率提高。步骤如下： 用一个基础算子（ 3 3窗口）对 I 的所有像元逐个计算，提取信息丰富区域 F。用 3 3窗口对 I 中的每个像元计算其与 上下左右四个像元灰度的绝对值 dg1,dg2,dg3,dg4,若像元中有两个方向的值超过经验阈值 T 则该像元属于 F 区域，否则属于信息贫乏区域（见图 2-1）。 图 2-1算子特征区及梯度计算窗口 阈值可根据 经验确定，当灰度量化为 256 级时，可取如下阈值： T=5 10 （对已低通滤波的图像） T=8 15 （对未低通滤波的图像） 全幅图像判断后，即获得 F 区域。 在 F 区域中的每个像元的 Rober s 梯度。计算窗口为 3 3。 I i计算像元 Pi,i的灰度误差椭圆圆度 q，并利用经验阈 值 qLim 确定属于点特 征的 PF,PF=Pi,i|Pi,i qLim,若限制椭圆长短半轴之比在3.2-2.4，而得 qLim=0.32-0.5.计算 I 集合中各像元的权值
