1、 本科毕业论文 (科研训练、毕业设计 ) 题 目： 基于 NSCT 的 多聚焦 图像融合 姓 名： 学 院：软件学院 系： 专 业：软件工程 年 级： 学 号： 指导教师（校内）： 职称： 指导教师（校外）： 沈贵明 职称： 年 月 本科毕业论文 基于 NSCT 的多聚焦图像融合 I 摘 要 多聚焦 图像融合是采用一定的算法将两幅或多幅 聚焦 不同 的 图像合并成一幅新的图像 。多聚焦图像融合的关键在于融合方法的特征提取能力 。 Contourlet 变换是最 近由 Minh N. Do 和 Nartin Vetterli 首先提出的， 与小波变换相比， 它是真正的二维变换 ， Contour
2、let在每个尺度提供不同数目的、灵活的方向 ， 能 够 捕捉 图像内在的几何结构 ， 这使 Contourlet能够更好的 提取 图像的边缘和纹理 等特征信息 。 然而，由于拉普拉斯和方向滤波器组（ DFB）中并非无下采样的，最初的 Contourlet 并不具平移不变性，这在 图像的奇异位置容易产生伪 吉布斯效应 。 由于 基于无下采样的 Contourlet (NSCT)具有完全的平移不变性，因此 在 多聚焦 图像融合领 域 比 Contourlet 具有更 大的优势 。 本文以 Wavelet 变换 (WT)和Contourlet 变换 (CT)等多尺度分析方法为基础，对其原理和性质进行
3、分析，并开展了 NSCT及 其在 多聚焦 图像融合应用领域 的研究 。 此外， 针对多聚焦图像融合， 本 文 比较 了多种在变换域提取图像特征的方法 ， 并据此提出了 基于 NSCT 域邻域空间频率（ Spatial Frequency） 的融合方法，简称 NSCT-NSF。与传统的 空间频率 算法 不同， NSCT-NSF 算法并非在空间域内， 而是 首先 对图像进行 多尺度多方向分解，再在 NSCT 变换域内对图像进行特征提取，最后选 择特征大的变换系数 来重构融合图像 。 考虑到 NSCT 高频子带邻域系数的相关性 ， 我们 还对 NSCT 域内的空间频率 算法做了改进， 实验结果表明，
4、在客观和主观评价标准上，本文提出的算法要优于 典型的基于小波和 基于 NSCT 像素最大值 的融合算法。 关键词 ： 图像融合 ; Contourlet 变换 ; NSCT; 空间频率 本科毕业论文 基于 NSCT 的多聚焦图像融合 II Abstract Multi-focus image fusion is the combination of two or more different images with different focus to form a new image by using a certain algorithm. The ability to extract f
5、eature information is key to multi-focus image fusion. Contourlet transform was recently pioneered by Minh N. Do and Martin Vetterli. Compared with wavelet transform, it is a “true” two-dimensional transform. Contourlet provides different and flexible number of directions at each scale and can captu
6、re the intrinsic geometrical structure, which make it possible to better extract feature information such as edge and texture. However, due to the down-sample and up-sample presented in both the Laplacian pyramid and the directional filter banks (DFB), the foremost Contourlet transform is not shift-
7、invariant, which causes pseudo-Gibbs phenomena around singularities. Nonsubsampled contourlet is fully shift-invariant and performs better in multi-focus image fusion than contourlet. In this paper, the principle and characteristic of Contourlet Transform (CT) is introduced and study of NSCTs applic
8、ation in multi-focus image fusion is developed. In addition, several classical methods directed at multi-focus image fusion for feature extraction is compared. Based on this, we propose a fusion method based on neighbor region spatial frequency (SF) in NSCT domain, NSCT-NSF namely. In contrast with
9、traditional spatial frequency method, the source image is first decomposed to several scales and directions, and then the proposed algorithm is applied to capture feature information in NSCT domain rather than spatial domain, at last the coefficient with larger feature value is selected to reconstru
10、ct the fused image. In addition, considering the correlation between neighbor coefficients, we also make some modification on spatial frequency in NSCT domain. Experimental results demonstrate that the proposed algorithms outperform typical wavelet-based and pixel maximum NSCT-based fusion algorithm
11、s in term of objective criteria and visual appearance. Key words: Image Fusion; Contourlet Transform; NSCT; Spatial Frequency 本科毕业论文 基于 NSCT 的多聚焦图像融合 III 目 录 第一章 引言 . 1 第二章 小波变换 . 2 2.1 小波变换 . 2 2.1.1 小波变换的发展 . 2 2.1.2 小波变换原理 . 2 2.1.3 二维 小波变换实现框架 . 3 2.2 小波变换的局限性 . 4 第三章 Contourlet 变换 . 5 3.1 Conto
12、urlet 变换的提出 . 5 3.2 Contourlet 变换的原理 . 5 3.2.1 拉普拉斯塔形分解 . 6 3.2.2 方向滤波器组（ DFB） . 7 3.2.3 多尺度、多方向分解：塔型方向滤波器组 . 11 3.3 无下采样的 Contourlet（ NSCT）变换 . 13 3.3.1 NSCT 变换原理 . 13 3.3.2 NSCT 域的邻域和兄弟信息 . 14 第四章 基于 NSCT 变换的多聚焦图像融合 . 15 4.1 基于小波变换的多聚焦图像融合 . 15 4.2 基于 NSCT 的多聚焦图像融合规则 . 16 4.2.1 融合框架 . 16 4.2.2 融合规
13、则 . 17 4.2.2 NSCT 域的特征提取 . 18 4.2.3 特征提取方法的选取 . 19 4.3 基于 NSCT-NSF 的融合算法 . 21 4.3.1 NSCT-NSF 融合规则 . 22 4.3.2 实验仿真和评价 . 23 第五章 总结与展望 . 28 5.1 本文工作总结 . 28 5.1 NSCT 应用前景展望 . 28 致谢 . 30 参考文献 . 31 附录一 离散小波图像融合代码 . 33 附录二 “ATROUS” 多孔小波图像融合代码 . 33 附录三 基于 NSCT 变换的图像融合代码 . 35 本科毕业论文 基于 NSCT 的多聚焦图像融合 IV Conte
14、nts Chapter 1 Introduction. 1 Chapter 2 Wavelet Transform . 2 2.1 Wavelet Transform . 2 2.1.1 Development of Wavelet . 2 2.1.2 Principle of Wavelet . 2 2.1.3 The Implementation Framework of 2D Wavelet. 3 2.2 Limitation of Wavelet. 4 Chapter 3 Contourlet Transform. 5 3.1 Propose of Contourlet. 5 3.2
15、Principle of Contourlet . 5 3.2.1 Laplacian Pyramid Decomposition. 6 3.2.2 Direction Filter Banks（ DFB） . 7 3.2.3 Multiscale and Multidirection Decompostion： Pyramid DFB. 11 3.3 NonSubssampled Contourlet Transform. 13 3.3.1 Principle of NSCT . 13 3.3.2 Neighbor and Cousin Info in NSCT Domain . 14 Ch
16、apter 4 NSCT-based Multifocus Image Fusion. 15 4.1 Wavelet-based Multifocus Image Fusion . 15 4.2 Principle of NSCT-based Multifocus Image Fusion . 16 4.2.1 Fusion Framework. 16 4.2.2 Fusion Rules . 17 4.2.2 Feature Extraction in NSCT Domain. 18 4.2.3 Selection of Feature Extraction Method. 19 4.3 N
17、SCT-NSF based Fusion Algorithm . 21 4.3.1 NSCT-NSF Fusion Rule . 22 4.3.2 Experiment Results and Evaluation. 23 Chapter 5 Summary and Prospect. 28 5.1 Work Summary . 28 5.1 NSCTs Application Prospect. 28 Acknowledgement . 30 Reference. 31 Supplement 1 Matlab Code of Discrete Wavelet based Image Fusi
18、on . 33 Supplement 2 Matlab Code of “atrous” Wavelet based Image Fusion . 33 Supplement 3 Matlab Code of NSCT based Image Fusion . 35本科毕业论文 基于 NSCT 的多聚焦图像融合 1 第一章 引言 多聚焦 图像融合是指对经过不同传感器得到的同一目标 聚焦不同的 图像进行一定的处理，形成一幅满足特定需求的图像的技术，从而提高对图像信息分析和提取的能力。图像融合技术 在医学、遥感、计算机视觉、目标识别等领域有着广阔的应用前景。 在图像融合领域中，变换对图像特征 （主
19、要为边缘和纹理） 的提取 和分析 效率是影响图像融合效果的最重要因素。近二十年来，小波 变换 以其时频局部性与多分辨率性在图像融合中取得了广泛应用，并取得了很大的成功。但是小波基缺乏方向性， 不能充分利用数据本身所特有的几何特征，挖掘图像中边缘方向信息。 为了克服小波变换存在的缺陷，近几年来，人们提出多种多尺度几何分析方法：脊波变换（ Ridgelet Transform）、 Bandelet 变换 1、 Curvelet变换、小 线变换（ Beamlet Transform）。我们把这些方法统称为超小波变换（ X-lets Transform或 Beyond Wavelet Transfor
20、m）。 2002 年 ,M.N.Do 等人提出了一种“真正”的图像二维表示方法： Contourlet 变换 2。 作为X-lets 的一个新成员， Contourlet 能用不同尺度、不同频率的子带更准确的捕获图像中的分段二次连续曲线，具有方向性和各向异性，从而使表示图像边缘的 Contourlet 系数能量更加集中，或者说 Contourlet 变换对于曲线有更“稀疏 ”的表示。 Contourlet 的提出 ，主要是 基于 如下 事实 ： 在 二 维情况下 ， 二维小波变换 并不能充分利用图像 本身特有的几何特征 ， 并不是最优的或者说“最稀疏”的函数表示方法 。比如二维小波，其实际是由
21、 一维小波变换直接用张量积扩展得到的，在表述具有一维奇异性的方向信息，如边缘、纹理等效果并不理想。 而边缘和纹理的 提取将直接影响到 图像融合的 效果 。 鉴于此，本文对 图像融合算法、 Contourlet 变换的原理 、 实现 以及 NSCT 变换 在 多聚焦 图像融合中的应用进行了研究， 通过 分析比较 EOL、 SML、 SF、 Tenengrad 等多种图 像特征提取的算法， 据 此提出了 NSCT-NSF 算法 。 该 算法并非在空间域内，而是在 NSCT 域内对图像进行特征提取。此外，算法还考虑到了 NSCT 高频子带邻域系数的相关性，还对传统的 SF算法做了很大改进 。 实验结
22、果表明， 本文算法在 主观视觉和客观评价上都优于经典的基于小波（本文采用离散小波和多孔小波作为对比实验）和基于单个像素最大值的 NSCT 的图像融合算法。 本科毕业论文 基于 NSCT 的多聚焦图像融合 2 第二章 小波变换 2.1 小波变换 2.1.1 小波变换的发展 自 1882 年傅立叶发表“热传导解析理论”以来，傅立叶变换一直是信号处理领域中应用最广泛的分析手段， 傅立叶变换的基本思想是将模拟信号分解成一系列不同频率的连续 正弦波的叠加，或者从另外一个角度来说是将信号从时间域转换到频率域，对于许多情况，傅立叶变换能很好的满足分析要求。 但是傅立叶变换有一个严重的缺陷 在变换中丢失了时间
23、信息。傅立叶变换后我们无法判断一个特定的信号是在什么时候发生的。换言之，傅立叶变换只是一种纯频域的分析方法，它在频域里的定位是完全准确的，即频域分辨率最高，而在时域无任何定位性。 如果分析的信号是一种平稳信号或规则信号，丢失时间信息或许并不重要，然而在 实际的信号 处理中，大多数信号含有大量的 非稳态信号，如 信号的过渡、突变 ，这些非稳态 变化是 相当重要的，反映了 信号 的特征信息。 例如音乐、语音信号，它们的频域特性都随时间变换。对这类时变信号进行分析，常需要提取某一时间段的频域信息 。因此，需要寻求一种具有一定的时频分辨率的基函数来分析时变信号。 小波 （ Wavelet） 分析 3-
24、5是 1986 年以 Y. Meyer, S. Mallat 和 I. Daubechies 等的研究工作为基础而迅速发展起来的一门新兴学科，它是傅立叶变换划时代发展的结果，是目前数学分析和信号处理领域中广泛应用的一套新理论、新方法。 小波变 换以牺牲部分频域定位性能来取得时 -频局部性的折衷 ， 其不仅能提供较精确的时域定位 ， 也能提供较精确的频域定位 。 小波分析是一种窗口面积固定而时间窗和频率窗都可以改变的时频局部分析方法。即在低频部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，所以被誉为数学显微镜。在大尺度下，可将信号的低频信息 （全局）
25、表现出来；在小尺度下，可以将信号的高频（局部）特征反映出来。 2.1.2 小波 变换 原理 小波 这一术语最早是 20 世纪 80 年代中期由 J. Morlet 首先使用的。小波，顾名思 义，就本科毕业论文 基于 NSCT 的多聚焦图像融合 3 是小的波形。所谓“小”是指它具有衰减性，“波”则是因为它具有波动性，其振幅具有正负相间的震荡形式。 设 2( ) ( )t L R ， 假设 ()t 为为一个基本小波或母小波。将母函数 ()t 经伸缩和平移后得到： , 1( ) , ; 0ab tbt a b R aaa （ 2-1） 我们称以上为一个小波序列。其中 a 为伸缩因子， b 为平移因子
26、。 对于任意的函数 2( ) ( )f t L R 的连续小波变换为： 0.5,( , ) ( , ) ( )f a b R tbW a b f a f t d ta （ 2-2） 其重构公式为： 211( ) ( , )f tbf t W a b d a d bC a a （ 2-3） 从数字计算角度出发，我们感兴趣的是时域频域都是离散的情况。在实际应用中，连续小波不适合计算机运 算，必须对其进行离散化。 通常把连续小波变换中的尺度参数 a 和平移参数 b 的离散化公式分别取做 0jaa ， 00jb kab ，其中 jZ ， 0 1a 。对应的离散小波 ()t 可写作： /2 00,00(
27、 ) ( )jjjk jt ka bta a （ 2-4） 离散化小波变换系数可表示为： *,( ) ( )j k j kC f t t dt （ 2-5） 离散小波重构公式为： ,( ) ( )j k j kf t C C t （ 2-6） 其中 C 是一个与 信号无关的 常数。 2.1.3 二维 小波变换 实现 框架 二维 小波变换 分解的 主要步骤如下： 本科毕业论文 基于 NSCT 的多聚焦图像融合 4 (1) 将 图像 送入高通和低通滤波器，分别得到 1 个 高频和 3 个 低频子带。 (2) 对高频和低频子带进行下采样，下采样参数为 2。 (3) 对低频子带进行上面两个步骤的迭代循环，直至达到规定的尺度，迭代结束 。 图 2
