图像融合算法研究-ChineseVirtualObservatory.ppt

1、2014-11-29,1,柳翠寅,昆明理工大学,多波段图像配准与融合,柳翠寅,多波段图像配准与融合,2,1、低能见度近进着陆助视导航2、多波段图像配准3、多波段图像融合,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,3,多波段图像配准,多波段图像融合,近进着陆助视导航,低能见度下的综合助视导航,民航飞行整个过程：起飞、爬升、复飞、巡航、航路下降、进近和着陆几个阶段。 飞机事故高发阶段：进近后着陆最后8分钟。国际飞行安全基金会(FSF，Flight Safety Foundation) ：该基金会专门负责对进近着陆事故进行系统的分析与研究，并给出了世界商业客机运

2、输飞行事故在各飞行阶段的数据 。,柳翠寅,多波段图像配准与融合,4,多波段图像配准,多波段图像融合,近进着陆助视导航,FSF统计了波音公司从2001到2010的十年之间，世界商业飞行共发生重大航空事故87起，而在进近着陆阶段就有31起，占事故总数的36%。,柳翠寅,多波段图像配准与融合,5,多波段图像配准,多波段图像融合,近进着陆助视导航,低能见度下的综合助视导航,平视指引系统(Head-up Guidance System，HGS)重要飞行数据以图形符号的方式在座舱前方的HUD（Head-up Display）上显示 。增强视觉系统(Enhanced Flight Vision System

3、，EFVS)机载红外设备或雷达，获得外部环境图像信息，扩展飞行人员视场，增强飞行员对飞行状态的感知能力； 合成视觉系统(Synthetic Vision System，SVS) 通过三维图像大场景绘制来解决这一问题。存储飞行降落场景的三维地形数据，根据飞行时的相关飞行导航数据，确定飞机所在三维空间中的位置，以该位置为视点生成着生成着陆的三维场景。,柳翠寅,多波段图像配准与融合,6,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,7,多波段图像配准,多波段图像融合,近进着陆助视导航,综合助视导航系统框架,柳翠寅,多波段图像配准与融合,8,多波段图像配准,多波段图像

4、融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,9,多波段图像配准,多波段图像融合,近进着陆助视导航,待配准图像间变换模型： : 为二维空间位置变换函数. 基于灰度信息的图像配准方法： Step1：选定配准的几何变换数学模型，设定两幅图像达到配准的 相似度量函数；Step2：设定初始变换几何参数，选用有效的优化搜索算法，搜索 使相似度函数值达到最大时的几何参数。 对该算法改进：相似度量函数（ SSDA , CC, MI ）。 特点与应用范围：简单易于实现，计算量大耗时长，主要在于医学图像.,柳翠寅,多波段图像配准与融合,10,传统配准方法,多波段图像配准,多波段图像融合,近进着陆助视导航

5、,柳翠寅,多波段图像配准与融合,11,传统配准方法,变换域的图像配准(Fourier-Mellin变换) Fourie2Mellin变换位移：对待配准图像 ， Fourie与对极数变换,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,12,传统配准方法,基于特征点检测的图像配准 角点检测Harris角点 每个像素的响应值,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,13,传统配准方法,斑点检测Sift斑点 1. 检测尺度空间的极值点。 2. 抽取稳定的关键点。 去除极值不稳定的点和边缘点 3. 为每个关键点指定一个或者多个方向

6、。 4. 生成特征点描述子使用16*16的像素区域，并且邻域划分为4*4个子区域。 每个子区域生成一个描述子，一个描述子中涉及8个方向。所以每个关键点有4*4*8=128维。,(26),多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,14,传统配准方法,Harris角点检测结果,Sift斑点检测结果,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,15,基于直线特征的红外与可见光图像配准,直线 的数学模型：,改写为向量积的形式,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,16,基于直线特征的红外

7、与可见光图像配准算法,直线段的检测 步骤1：首先对航拍的机场降落的红外图像与可见光图像进行小尺度的高 斯滤波； 步骤2：对经过滤波处理后的红外与可见光图像进行边缘检测。采用启发式搜索连接，从检测的边缘结果中筛选出直线模型。 检测后得到过多的直线段，为减小匹配范围，可删除多余过短的直线段。直线特征描述,直线段邻域特征描述：,直线的特征向量：,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,17,基于直线特征的红外与可见光图像配准算法,可见光与红外图像直线段检测,线段筛选实验结果,可见光与红外图像直线段检测并延长,多波段图像配准,多波段图像融合,近进着陆助视导航,柳

8、翠寅,多波段图像配准与融合,18,基于直线特征的红外与可见光图像配准算法,直线配准与结构点精配准(1)直线配准首先采用直线特征向量进行直线对的粗匹配 。对待配准直线 定义匹配测度，这里直线段相似匹配测度定义为最简单的直线段向量之间欧氏距离。匹配过程采用左右一致性最大匹配准则，对于第一幅图像中一条直线段 ，设第2幅图像中与之相似度量最大的直线段为 ，同时 也是第一幅图像中与 最匹配的直线段，则 为一对匹配直线段。求解变换参数，由得到的待匹配图像中的匹配直线对，根据方程组，通过最小二乘法求解待配准的变换模型参数初始值 ，对待配准图像进行粗配准。,多波段图像配准,多波段图像融合,近进着陆助视导航,柳

9、翠寅,多波段图像配准与融合,19,基于直线特征的红外与可见光图像配准算法,(2)结构点的精配准 待配准的可见光与红外图像经过初匹配的共同线特征，直线的相交在待配准图像之间具有稳定的几何结构。从待配准直线的拟合虚拟交点作为控制点，基于虚拟结构进行精配准。 直线之间位于图像空间内的交点即为用于精配准的结构点。,这里采用RANSAC算法进行去除外点，实现精确配准：步骤1：在候选待匹配结构点集P，P 中，任选3对不共线的匹配点估算变换矩阵 T，T 的初始值由上一步直线特征匹配计算的所得 ；步骤2：在剩余点对中选择匹配点 ，若 ，(其中， )则将该点对归为内点，即精确匹配点对。重复这一步骤直到取完所有余

10、下的候选匹配点对抽样计算；步骤3：若步骤2得到的内点数大于设定阈值 ，则进行下一步，否则返回步骤1。,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,20,配准实验结果,机场红外与可见光图像配准,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,21,多波段图像配准,多波段图像融合,近进着陆助视导航,红外与可见光融合,Piella的多分辨率图像融合框架(博士论文中提出),柳翠寅,多波段图像配准与融合,22,多波段图像配准,多波段图像融合,近进着陆助视导航,红外与可见光融合,融合算法： NSCT的多尺度和多方向分解：局部多向方差能量选

11、择与平均低频系数融合规则 ：方向向量约束对比度系数融合规则高频系数融合规则：,柳翠寅,综合助视导航中多源图像融合关键技术研究,23,实验结果与分析,融合规则的比较 -低频融合规则实验,多波段图像配准,多波段图像融合,近进着陆助视导航,柳翠寅,多波段图像配准与融合,24,多波段图像配准,多波段图像融合,近进着陆助视导航,融合规则的比较-高频融合规则实验,实验结果与分析,柳翠寅,多波段图像配准与融合,25,多波段图像配准,多波段图像融合,近进着陆助视导航,本文算法与其它多尺度融合算法实验结果：,柳翠寅,多波段图像配准与融合,26,多波段图像配准,多波段图像融合,近进着陆助视导航,基于NSCT变换与

12、空间约束模糊核聚类红外图像分割算法,非子采样轮廓变换域（NSCT）去噪处理 改进的自适应模糊核聚类KSFCM图像分割算法,柳翠寅,多波段图像配准与融合,27,多波段图像配准,多波段图像融合,近进着陆助视导航,NSCT分解域Bayes萎缩法去噪,基于NSCT变换与空间约束模糊核聚类红外图像分割算法,柳翠寅,多波段图像配准与融合,28,多波段图像配准,多波段图像融合,近进着陆助视导航,改进的自适应模糊核聚类KSFCM图像分割算法标准模糊分割：线性空间向非线性空间的映射：邻域修正：,改进的自适应模糊核聚类KSFCM图像分割算法标准模糊分割：线性空间向非线性空间的映射：邻域修正：,柳翠寅,多波段图像配准与融合,29,多波段图像配准,多波段图像融合,近进着陆助视导航,实验结果： 小波去噪 轮廓波去噪 NSCT去噪,柳翠寅,多波段图像配准与融合,30,多波段图像配准,多波段图像融合,近进着陆助视导航,谢谢！,