1、 南阳师范学院 20XX 届毕业生 毕业论文（设计） 题 目： 基于点特征的整体匹配方法研究 完 成 人： 班 级： 学 制： 专 业： 测绘工程 指导教师： 完成日期： 目录 摘要 . （ 1） 1 引言 . （ 1） 2 点特征的提取 . （ 3） 2.1 Morava 兴趣算子 . （ 3） 2.2 forstner 算子 . （ 4） 2.3 SUSAN 角点提取法 . （ 4） 2.4 结论 . （ 4） 3 基于点特征的整体匹配 . （ 5） 3.1 多点最小二乘匹配的常规算法 . （ 5） 3.2 概率松弛匹配 . （ 7） 3.2.1 基于概率松弛的整体影像匹配 . （ 7）
2、3.2.2 hopfield 神经网络 . （ 7） 3.2.3 松弛法的 Hopfield 网络实现 . （ 8） 3.3 误匹配的消除 . （ 9） 3.3.1 松弛迭代法消除误匹配 . （ 9） 3.3.2 零交叉法消除误匹配 .（ 10） 3.3.3 最小平方中值法消除误匹配 . （ 11） 3.3.4 结论 .（ 12） 4 实验设计 .（ 12） 4.1 以矿山普通影像图为实验源进行点特征匹配 .（ 12） 4.2 实验结论 .（ 14） 5 总结 .（ 14） 5.1 小结 .（ 14） 5.2 展望 .（ 15） 参 考 文 献 .（ 15） Abstract .（ 16） 第
3、 1 页 （共 17 页） 基于点特征的整体匹配方法研究 摘要 ： 以矿山普通数码影像为实验源，对现有的单点匹配和整体匹配方法进行研究，针对各自的优缺点提出基于点特征的整体匹配方法，很好的利用影像的灰度相关及整体特征，以提高匹配的正确率。本文主要内容包括 点特征的提取方法的探讨研究、点特征的旋转图像匹配的方法及改进、灰度差分 不变量的点特征匹配、数据点特征参数提取优化算法的研究、边缘点特征的细化算法等； 影像匹配在数字摄影测量中是提取物体三维信息、建立 DTM 的基础 ,因此 ,它是数字摄影测量工作站最关键的技术之一。一般来说 ,为了提高影像匹配的精度和效率 ,金字塔影像结构是广泛采用的一种技
4、术 ,通过对原始影像作低通滤波 ,首先进行粗相关 ,将其结果作为预测值 ,逐渐加入高频成分 ,在逐渐变小的搜索区域内进行相关匹配 ,最终利用原始影像得到精确的匹配结果。 介绍 了一种将谱图理论、特征点的局部特征和概率松弛法相结合的特征点匹配算法。该算法通过谱方法 ,求出特 征点匹配的初始概率 ;利用特征点的结构特征和灰度特征 ,求得初始支持度 ;将初始概率、初始支持度与概率松弛迭代法相结合 ,获得匹配结果。实验结果表明 ,该方法能够达到较高的匹配效果。提到了一种映射方法 ,使得 Hopfield 神经网络能够用于实现松弛算法。其优点在于Hopfield 模型可由集成电路实现 ,因而使得基于松弛
5、算法的影像匹配可以实时地完成 ,极大地提高了处理速度。并且对于近景摄影测量的普通数码影像与航空摄影相比较，存在更为复杂的影像变形和影像遮挡等问题，这使得其影像匹配的难度大大增加。针对近景数码影像的特殊性，提到 一种改进搜索策略的概率松弛匹配算法。该算法采用格网点和特征点相结合的方式来确立初始点匹配过程；并从核线、视差等方面进行剁成约束，保证匹配的连续性和正确性。实验结果表明该算法适用于近景数码影像匹配，在复杂的高山硒鼓地区的立体匹配正确率可达到 98%，当然也同样适用于矿山普通数码影像的匹配。 关键词： 特征点 ；整体匹配；图像匹配；概率松弛；最小二乘匹配 1 引言 在摄影测量中，有一些较为著
6、名的点特征提取算子，如： Moravec算子、 Forsmer 算子与 Hannah 算子等。将叙述 MoraVec算子和 Forsmer 算子的基本原理，从提取点的定位准确性及速度两个方面对两种算子进行比较，并重点分析利用 Moravec 算子提取特征点实现过程分析。针对第 2 页 （共 17 页） 地貌测量重构中的图像特征匹配问题，提出了一种新的图像特征匹配方法。通过对待匹配的资源和模板图像进行分区，并根据灰度相关值实现区域之间的匹配，在区域匹配的基础上再根据角点所属区域的对应关系进行角点特征匹配运算。在角点特征匹配过程中，利用去均值归一化相关法进行区域灰度相关运算，从而确定出初始匹配点对
7、。为消除初始匹配角点对中的错误匹配点对，保证角点特征提取的准确性和可靠性，采用松 弛迭代法、零交叉法以及最小平方中值法进行了错误匹配角点的滤除。基于数字图像的平面位移测量是近几年发展起来的新的位移测量方式，而点特征提取是平面位移测量实现的基础，是特征匹配实现的基础，是位移测量精度提高的保证。为了提高测量精度和效率，利用常用的点特征提取算法对花岗岩工作台进行点特征提取。平面位移的测量在生产实践和科学实践中随处可见，如各类仪器工作台的精确定位。传统的位移测量通常采用 3 个位移传感器 ,使测量成本增加 ,仪器尺寸增大。在测量空间受限制时，安装和调试比较困难，另外这种测量方法由于环节多而使不可靠因素
8、增 加。本文在旋转与比例不变点特征松弛匹配方法的基础上，提出了用 Hopfield 神经网络实现匹配过程的方法。通过对模拟图象进行的大量实验。得到令人满意的结果，证实采用 Hopfield 神经网络完成旋转与比例不变点特征松弛匹配过程的有效性和可行性。遥感图像的配准是将不同时相、 不同遥感平台的数据配准到同一坐标系统下，以便各个图像能进行像元与像元间的对比和运算。在许多遥感图像处理中，需要对多源图像数据进行比较和分析，而遥感图像的配准是进行诸如图像融合、变化检测、超分辨率图像生成等工作的基础。多源图像配准与单传感器图像 配准相比，更加困难一些，特别是波段相距较远的图像，由于图像间相关性小，实现
9、自动配准技术难度更大。当前的图像配准技术通常分为两大类：基于区域的方法和基于特征的方法。在基于区域的方法中，使用相关技术确定一个图像的像素窗口在另一图像中的匹配位置，采样的匹配度量通常是相关系数。匹配窗口的中心作为控制点对，这些控制点对用以求解图像的变换参数，基于特征的方法首先从图像上提取一些公共特征，如轮廓、矩、区域、线性分割，然后进行精确匹配。由于这些特征不依赖于图像的灰度级，所以基于特征的配准算法在多传感器配准领域具有广泛的应用 。不同的任务对配准精度的要第 3 页 （共 17 页） 求是不一样的，有些配准精度只要在 1 个像素内即可。但是，对遥感图像融合来说，往往要求配准精度在 1个像
10、素以内，例如 Landsat遥感图像的 1 个像素对应于地面上 80 m 距离，也就是说像素级的配准精度提供的分辨率是 40 m。如果能达到 0.1个像素的配准精度，那么就可以获得 4m 的分辨率。而不断提出的各种配准方法使得配准的精度越来越高，从像素级一直到子像素级。但其中始终存在着一个问题，就是某一种方法仅对几组或几种图像可以取得好的效果，但却不适应其他类型的数据，本文针对这一问题，提出了一种基于点 特征的高精度图像配准方法，该方法的基本思想是：在参考影像上自动提取密集的特征点作为配准控制点 ( RCP)，通过严格的图像匹配算法获得同名点对，然后由这些同名点对构成大量不规则三角网，再以小三
11、角形面元为单位进行数字微分纠正，从而得到精确配准的影像。 2.点特征的提取 在摄影测量中 ,有一些较为著名的点特征提取算子，如： Morava 算子、 Former算子与 Hannah算子等。 点特征是影像最基本的特征，它是指那些灰度信号在二维方向上都有明显变化的点，如角点、圆点等。点特征可以应用于诸如图像的配准与匹配，目标描 述与识别，光束计算，运目标跟踪、识别和立体像对 3D建模等众多领域。使用点特征进行处理，可以减少参与计算的数据量，同时又不损害图像的重要灰度信息，在匹配运算中能够较大的提高匹配速度，因而受人们的关注。提取点特征的算子称为兴趣算子或有利算子(interest operat
12、or)，即利用某种算法从影像中提取人们感兴趣的，有利于某种目的的点。在影像分析和计算机的视觉领域，根据不同应用目的选择有效的点特征提取。 2.1 Morava 兴趣算子 Morava于 1977 年提出利用灰度方差提取点特征的算子。 Morava算子是在四个主要方向上，选择具有最大一最小灰度方差的点作为特征点。 第一步，计算各像元的兴趣值 IV。 第二步，给定一经验阈值，将兴趣值大于该阈值的点 (即兴趣值计算窗 口的中心点 ) 作为候选点。阈值的选择应以候选点中包括所需要的特征点，又不含过多的非特征点第 4 页 （共 17 页） 为原则。第三步，选取候选点中的极值点作为特征点。除了以上方法，还
13、可以尝试首先利用边缘提取方法提取整个图象的边缘轮廓，然后在此轮廓内利用以上特征点提取方法提取特征点。 2.2 forstner 算子 forstner 算子是从影像中提取点 (角点、 圆点等 ) 特 征的一种较为有效的算子。 forstner算子通过计算各像素的 Robert梯度和以像素 (c，r)为中心的一个窗口的灰度协方差矩阵，在影像中寻找具有尽可能小而且接近圆的点作为特征点，它通过计算各影像点的兴趣并采用抑制局部极小点的方法提取特征点。 第一步： 计算各像素的 Robert 梯度 。 第二步： 计算 l l 窗口中灰度的协方差矩阵。 第三步： 计算兴趣值 q 与 w。 第四步： 确定待选
14、点。 第五步： 选取极值点。 2.3 SUSAN 角点提取法 传统意义上，角点定义为两条直线边缘的 接合点。图像的角点检测方法可概括为两类。第 1 类方法先将图像分割为区域，用链码表示目标边界，然后通过方向变化确定角点。这种方法的主要缺点是角点检测的结果依赖于前面的图像割的结果。第 2 类方法，直接对图像灰度级进行操作，这些方法主要利用梯度和曲率度量检测角点。 Smith 等人提出的SUSAN算法为第 2 类方法。它用圆形模板在图像上移动，若模板内像素的灰度与模板中心像素灰度的差值小于一定阈值，则认为该点与核具有相同的灰度，由满足这样条件的像素组成的局部区域称为 “ USAN( Univalu
15、e Segment AssimilatingNucleus )”。根据 SUSAN 的尺寸、质心和二阶矩，可检测到角点特征。 2.4 结论 综上所述， Moravec 算子是点特征提取算子中的经典算子之一，后来的很多点特征提取算子都是在它的基础上改进得来的掌握 Moravec算子的原理和实现方法对理解其他的点特征算子的理解和应用有很大好处。但其他两类算子也是各有各的好处， SUSAN算法的优点在于在角点检测时不需计算梯度，不需插值而且不依赖于前期图像分割的结果，第 5 页 （共 17 页） 直接对像素的邻域灰度值比较即可检测出角点，因而在图像处理中得到广泛的应用。当然针 对不同类型点特征的提取
16、选择不同的算子才能更有效的降低误差出现。 3 基于点特征的整体匹配 整体影像匹配的基本思想是：通常无论是基于灰度还是基于特省匹配，多数是作单点匹配或局部匹配，它们不考虑周围临近点（或要素）之间的相关性。整体影像匹配是一类顾及共轭实体之间的相容性、一致性、整体协调性的影像匹配方法。它具有匹配可靠性高的特点。一般情况，地形可认为是连续的，因此临近点的高程就有很强的相关性。如何顾及它们之间的相关性，产生最佳的整体匹配结果，这是提高影像匹配可靠性、匹配结果之间的一致性的重要途径。它的 主要方法有多点最小二乘影像匹配，动态规划影像匹配、松弛法影像匹配、人工神经元网络影像匹配。 3.1 多点最小二乘匹配的
17、常规算法 设 ),(1 yxg ， ),(2 yxg 依次表示左右影像，对于左影像中任一像元),( 111 yxg 及它在右影像中的同名点 ),( 222 yxg ，我们有下列观测方程（假设无辐射畸变存在）： ),(),(),( 11222111 yxnyxgyxg （ 3-1） ),( 11 yxn 是影像噪声，如果在核线影像对上匹配，即只存在视差 0x ，则有： ),(),(),( 021 yxnyxxgyxg （ 3-2） 式（ 3-2）中视差 0x 可由该像元邻近四个视差格网点的视差双线性内插表示，见图 3-1。设节点间的距离为 1，像元 P到节点（ ji, ）的距离为1d ， 2d
18、0 1210 1210210 )1()1()1)(1( jijiji xddxddxddx 0 1121 jixdd （ 3-3） 把式（ 3-2）线性化，并把式（ 3-3）代入式（ 3-2），得到误差方程式： 1212212 )1()1)(1( jiji dxddgdxddgv gdxddgdxddg jiji 112121212 )1( ),(),( 021 yxxgyxgg （ 3-4） 第 6 页 （共 17 页） 式中 2g 为右影像在 x 方向的差分， dx是起始视差之增量。 i+1 j i+1 j+1 i j i j+1 图 3-1 相邻 4 个点的位置关系 设左影像中需匹配的点
19、位于一个 21 nn 的规则格网节点上， 1n ， 2n 依次表示行数和列数。 多点最小二乘匹配的第二类误差方程式为虚拟误差方程式，是对节点视差的光滑约束。对二阶差分最小条件下的虚拟误差方程式为 jiyxjijijijijijijiyx pxxxdxdxdxv ,)2(2 0 100 111 jizsjijijijijijijizs pxxxdxdxdxv ,)2(2 0 100 111 （ 3-5） 一阶差分最小条件下的虚拟误差方程式为： jiyjijijijijix pxxdxdxv ,)( 0 101 jizjijijijijis pxxdxdxv ,)( 0 101 （ 3-6） 式中
20、 zsyx pppp , 为光滑约束的权值。 式（ 3-4）、（ 3-5）、（ 3-6）即为多点最小二乘匹配的基本误差方程式，写成矩阵形式为： LAdXV （ 3-7） 法方程式为： PLAdXPAA TT )( (3-8) 解的表示： PLAPAAdX TT 1)( (3-9) 由于多点最小二乘匹配是对非线性方程（ 3-2）线性化后进行的，所以必须迭代求解。 1d p 2d 第 7 页 （共 17 页） 3.2 概率松弛匹配 3.2.1 基于概率松弛的整体影像匹配 概率松弛算法是并行迭代算法，可被看作归类或模 式识别方法的一种，其基本原理可描述如下。设有一个对象集 nOOOO , 21 和一
21、个类型集 mCCCC , 21 我们是要确定每个对象属于哪个类型。假设各个对象的归类之间是相关的，即对于一对归类隶属关系 ji CO 和 kh CO ，存在着一个度量其相 容性的数值，设作 khjiC ,;, 。根据归类问题的实际物理意义，我们可以得到 ji CO 的可能性的初始估计 0ijp 。概率松弛算法的目的是以这些初始概率为出发点，寻求一个所有对象的最佳归类组合，使得它们尽可能的相容。有很多种方法来度量所有几个对象的归类之间的整体相容性，“平均局部相容度”即是其中一种 。可以证明，下面将要详细描述的松弛迭代过程将会增加上述度量的值，即增加相容性。在概率松弛的每次迭代过程中，每个对象归属
22、于每个类型的概率rijp 都要根据其他对象和类型之间的归属关系的概率作出调整，以增进相容性。第 r 次迭代中，来自其他对象的对象 i 归类于类型 j 的概率值调整的净贡献 rijq ，而第 r+1 次迭代后，对象 i 隶属于类型 j 的概率的新的估计值 1rijp ，上述计算过程迭代进行，直至迭代收敛或满足某人为给定的终止条件。迭代结束时所有对象的归类之间达到了最大的相容。 就影响匹配而言，我们把左影像上的像点视作“对象”，右影像上的像点视作“类型”，这样就可把影响匹配问题转化为一个归类问题，于是匹配问题即可用概率松弛法求解。为简单起见，我们假设左右影响已被重采样为核线影像，这样我们只需考虑一
23、维匹配问题。这就是整体影像匹配概率松弛算法的基本原理。 事实上，沿核线方向的影像重采样并非概率松弛 影像的必要条件。松弛法同样适用于原始的未经重采样的数字影像或 SPOT 影像，甚至物方空间的影像匹配。整体影像匹配概率松弛算法在保证可靠性方面是成功的，但其处理速度过于缓慢，不足以实现实时的三维数据重建。 3.2.2 hopfield神经网络 Hopfield 网络是一个复杂的递归网络，它包含了从神经元输出到输入的反馈，这使得这类网络的运转成为预感动力系统。这意味着，当神第 8 页 （共 17 页） 经元接受一个新的输入后，计算机的输出将会立即反馈回去并改变输入。理想的迭代过程会导致越来越小的输
24、出变化到输出不再变化，这是网络便达到了稳定 状态。神经元之间的联结强度可设作 ijTT 。已经证明，当矩阵 T 对称且具有零对角线时，即对所有的 i， j 有 jiij TT 和 0iiT时，网络是稳定的。满足此条件则具有稳定的收敛性。第 i 个神经元的输入为 iu ，则 ijiji Iij VTu （ 3-10） 这里 jV 代表第 j个神经元的输出， ijT 是第 i个和第 j 个神经元之间的联结强度， iI 代表作用于第 i个神经元的外部输出的阈值，这个值在整个迭代过程中保持恒定。迭代过程中，神经元的输出按照下述规则来改变： 2)ta n h (1()( iiii uugV （ 3-11
25、） 这里函数 ig 被称作神经元 i的 Sigmoid激励函数， 称作网络的增益， 越大则函数 ig 的斜率越大。随着系统的迭代发展，由于系统的反馈动力机制，能量将递减直至达到最小。 适用 Hopfield网络的主要好处在于它能用集成电路实现，因而使得处理过程可以实时进行。 3.2.3 松弛法的 Hopfield网络实现 正如 3.2.1所述， 松弛处理的目的在于增加系统的所谓“平均局部兼容度”。而另一方面 ,Hopfield 网络在迭代过程中趋向于逐步减小能量函数的值。从这个观点看 ,容易通过 Hopfield网络来实现松弛运算 ,所要做的只是将平均局部兼容度函数转化成某个 Hopfield网络的能量函数形式。在这个网络中 ,神经元的状态代表了原始松弛优化问题的可能状态。我们来构造这个网络 :标号为 (i,j)的神经元代表对象 iO 类属于类型 jC 这一假设 ,这一假设成立的可能性即为神经元的输出 ijV 。对照平均局部兼容度的函数表达式 ,易知 : 222 )1(),;,( i i ijBi j hkh kijA VVkhjiCVE（ 3-12） 其中第一项出去常数因子就是兼容度函数，而第二项当代表某一确定对象的归属所假设的各神经元的输出的和 等于 1 时，达到其最小值零 (这意味着我们假设每个对象只能属于唯一的类别 ),A 和 B 均是正数。另一
