1、本科毕业论文（20 届）图像超分辨算法的研究与实现图像重构所在学院 专业班级 通信工程 学生姓名 学号 指导教师 职称 完成日期 年 月 - I -目 录摘 要 .IIIAbstract .IV第一章 概述 .11.1 超分辨重建的主要概念 .11.2 图像超分辨重建技术的发展历史 .11.3 图像超分辨重建的应用领域 .2第二章 图像超分辨率问题模型和常用解法 .32.1 问题描述与定义 .32.1.1 分辨率 .32.1.2 图像的数字化 .32.1.3 成像系统的数学描述与图像重建原理分析 .42.1.4 图像降质 .42.1.5 超分辨重建问题的定义 .52.2 超分辨数字模型的建立
2、.52.3 图像超分辨重建方法 .52.3.1 频域方法 .62.3.2 空域方法 .72.3.3 其他方法 .7第三章 图像内插常用算法介绍 .83.1 最近邻插值 .83.2 双线性插值 .83.3 双三次插值 .103.4 高阶 插值 .11第四章 基于插值的超分辨重建 .144.1 重建流程 .144.2 Keren 配准 .16参考文献 .20致 谢 .21- II -图像超分辨算法研究与实现图像重构摘 要超分辨率图像重构的目的在于复原截止频率之外的信息,以使图像获得更多的细节和信息。在传统的图像复原问题中,只有一帧输入图像。超分辨率图像重构的概念可以简单的理解为利用一组低分辨率的图
3、像序列重构出一帧(或多帧)较高分辨率图像。对于一段场景变换不大的图像序列来说,这一组图像具有相似但不完全相同的信息,使重构成为可能。目前,超分辨率重构技术在遥感、军事、公共安全、计算机视觉、医学成像、多媒体电子消费,图像压缩等领域得到了广泛应用。正因为如此,超分辨率图像重构近年来已成为国际上图像复原领域最为活跃的研究课题,国内对超分辨率重构技术的研究起步较晚,但这一技术在近几年也逐渐成为一个新的研究热点。本文首先对超分辨率图像重构的发展历程和超分辨率图像重构的频域及空域的各种算法进行了介绍,并分析和比较了各种算法的优缺点。观测模型的建立和图像配准(运动估计)是超分辨率图像重构的关键环节。因此,
4、本文接着建立了超分辨率图像成像的观测模型,对图像配准的原理、分类以及具体方法进行详细的介绍并在 MATLAB6.1 平台上对基于图像灰度的图像配准和傅立叶图像配准方法进行实验,比较分析两种方法的优缺点。图像超分辨率重建算法可以分为两大类，即频域算法和空间域算法。频域算法只能对全局位移的图像序列进行处理；空间域算法使用通用的观察模型，具有更好的适应性和重建效果，是目前的主要研究方向。空间域算法包括迭代反投影方法，最大后验概率方法(MAP)，凸集投影法(POCS)，混合 MAP POCS 方法以及白适应滤波方法等。本文全面介绍了图像超分辨率重建的研究现状，针对参考帧重建，运动估计、利用运动估计信息
5、共轭梯度法加权重建图像，重建图像的质量评价三个方面作了深入地究。关键词 ：超分辨率； 图像配准； 图像插值；图像重构 - III -Image super resolution algorithms and implementation - image reconstruction AbstractSuper-resolution reconstruction is to reconstruct a high resolution image beyond its cut-off frequency with more details and message. The traditional
6、image reconstruction methods use a low resolution image. Super-resolution reconstruction can reconstruct a frame of image with high resolution by using low resolution images which have strong relationship between each other.So far, the technology of Super-resolution image reconstruction has been ext
7、ensively applied to remote sensing, military, public security, computer vision, medical imaging, multi-media electronic consuming, image compression and so on. Therefore, this technology has great prospect with significant application value.This thesis firstly introduces the developmental process of
8、 Super-resolution image fusion as well as all kinds of algorithms basing on both frequency domain and spatial domain. Two of the most successful algorithms will be studied in depth basing on the full analyses and comparisons of all these algorithms.Two key steps of this technology are the establishm
9、ent of observation model and image registration (motion estimation). Thus, this thesis secondly sets up the observation model, and then provides a detailed introduction to the principle, classification, and manipulation of image registration. This thesis carries out experiments of two registration m
10、ethods which are based on the image gray and Fourier transformation on the MATLAB6.1 platform and compares the both methods. Super resolution algorithms include frequencydomain approach andspatialdomain approachFrequency domain approach Can only deal with image sequences that only translational moti
11、ons are allowedSpatial methods which are the major research directions have better adaptability and performance by using general observation modelsSpatial methods include the iterative back-projection(IBP) method，stochastic method(MAP)，proj ection on convex set(POCS)method，hybrid reconstruction meth
12、od and adaptive filter method，etc This paper introduces research of image super resolution reconstruction technologies allaround and studies three areas indepth：reference frame reconstruction；motion estimation and conjugategradient image - IV -reconstruction that used motionestimated information；qua
13、lity assessment of image reconstructionKeywords： Super-resolution， image registration，interpolation，Image reconstruction - 1 -第一章 概述 1.1 超分辨重建的主要概念超分辨率(Super Resolution)是去除由成像系统造成的模糊 (散焦模糊、运动模糊、欠采样等)以及重建超出光学系统衍射极限之外的空问频率信息 12。在数字图像的采集与处理过程中，有许多因素会导致图像分辨率的下降，其主要表现为模糊、噪声和变形。造成模糊的因素有很多，如传感器的形状和尺寸、光学部件的
14、性能（如点扩散函数 PSF）引起的光学模糊以及采集对象的运动带来的运动模糊。另外，在成像、传输、存储过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声等，而且噪声的引入方式也不同，或为加性噪声、或为乘性噪声，这些都会直接影响到图像的分辨率。此外，数字化采集过程也会影响图像的分辨率，欠采样效应会造成图像的频谱交叠，使获取的图像因变形效应而发生降质。视频图像重建是指：由于光学模糊(包括线性运动或散焦模糊)会造成视频图像的退化，而对这些退化的视频图像进行的空间(图像)去模糊操作。一个物点(object point)在若干图像像素上扩散时就会呈现光模糊，造成这种现象的原因可能是由于目标和摄像机之间的相
15、对运动，或者是由于散焦成像。物点空间扩散的范围是由成像系统的点扩散函数(PSF)决定的 4。超分辨率重建技术是由低分辨率图像序列来估计一幅(或一个图像序列)较高分辨率的图像。同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。它是图像融合领域中的一个重要分支。1.2 图像超分辨重建技术的发展历史图像超分辨率重建技术通常可以分为两大类：单帧图像重建(静态图像插值)方法和多帧图像重建(序列图像重建)方法。超分辨率图像重建技术于1960 年代由Harris 和Goodman 最初以单张图像复原的概念和方法提出。1980 年代初，Tsai&Huang 首先提出了基于序列或多帧图像的超分辨率
16、重建问题，并给出了基于频域的逼近的方法。1980 年代后期，随着计算机、电子、信号处理技术以及一些优化理论的发展，人们在超分辨率图像重建方法研究上取得了突破性进展。- 2 -为了增加利用图像的信息，人们逐渐将研究热点转向多帧图像重建。多帧图像重建充分利用了不同帧图像之问类似而又相异的信息，其超分辨率复原能力好于利用单帧图像进行复原所获得的超分辨率能力。主要的重建方法可以分为两大类：频率域方法和空问域方法。1.3 图像超分辨重建的应用领域由于超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，因而在视频、遥感、医学和安全监控等领域具都有十分重要的应用 2。例如
17、：（1）在数字电视（DTV）向高清晰度电视（HDTV）过度阶段，仅有部分电视节目会以 HDTV 的形式播出，不少节目采用的是 DTV 的形式。因此，可以利用超分辨率重建技术将 DTV 信号转化为与 HDTV 接收机相匹配的信号，提高电视节目的兼容性；（2）在采集军事与气象遥感图像时，由于受到成像条件与成像系统分辨率的限制，不可能获得清晰度很高的图像, 而通过利用超分辨率重建技术，在不改变卫星图像探测系统的前提下，可实现高于系统分辨率的图像观测；（3）在医学成像系统中（如 CT、MRI 和超声波仪器等） ，可以用超分辨率重建技术来提高图像质量，对病变目标进行仔细地检测；（4）在银行、证劵等部门的
18、安全监控系统中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索；（5）可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和视频。- 3 -第二章 图像超分辨率问题模型和常用解法图像超分辨重建技术的基本思想是在现有成像系统的前提下，采取某种软件技术方法突破其成像技术极限以获取更高空间分辨率的图像，其目的就是对低分辨率的降质图像或序列进融合产生一幅高分辨率的图像或者高分辨率的图像序列消除频谱混叠，重建截止频率之外的信息，使图像的细节信息更丰富。常用方法有：数学模
19、型的建立；频域算法；空预算法 2.1 问题描述与定义2.1.1 分辨率分辨率就是屏幕图像的精密度，是指显示器所能显示的像素的多少。由于屏幕上的点、线和面都是由像素组成的，显示器可显示的像素越多，画面就越精细，同样的屏幕区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线交叉点的数目。 图像的分辨率简单来说就是成像系统列图像细节的分辨能力，也是图像中目标细微程度的指标。它表示景物信息的详细程度系统的仃环节都可能对图像的最终分辨率造成影响。本文讨论的数字图像的空间分辨率是图像的重要参数，也是图像质量砰价的关键指标
20、。影响图像空间分辨率的因素有：被观察景物的对比度、形状、数目及成像系统的镜头、瞬间现场、辐射光波长、成像孔径、成像姿态等。但最基本的是由光的衍射决定的分辨极限、成像系统的点扩散函数、信噪比三个方面。2.1.2 图像的数字化为了用计算机来处理，图像必须用适当的离散数据结构来表达，依据信号处理理论中的香农采样定理(Shannon Sampling Theorem)，2U,2V称为奈奎斯特采样率(Nyquist rate)。在图像分析中该定理的一个简单的物理解释是，采样频率必须大于奈奎斯特采样率，在空域，采样间隔应该比图像中感兴趣的最小细节的尺寸的一半还要小。实际数字图像的采样就是因为达不到奈奎斯特
21、采样率而使图像的频谱产生混叠，这是图像分辨率损失的一个重要原因。- 4 -2.1.3 成像系统的数学描述与图像重建原理分析设物函数为f(x ， y)，成像系统用符号I *表示，像函数为如g(x,y)，则物和像的映射关系可以表示为：g(x， y)=If(x， y) (2.1)/GuFHu(2.2) 其中G(u) ，F(u),H( u)分别表示g(u),f(u), h(u)的傅里叶变化，由于截止频率之外H（u)=0 ，因此要想复原截止频率之外的信息，无论从理论上还是实际概念上都是不可能的。1解析延拓理论:如果一个函数f(x) 是空域有界的(即在某个有限范围之外全为o)，则其谱函数F(u)是一个解析
22、函数。2.信息叠加理论:对于非相干成像，实际的图像应具备以下约束条件和性质：非负性和有界性()0,fxX(2.3)3非线性运算:考虑到噪声对成像过程的影响，一般成像过程由下式表示： ()()gxfhxn(2.4)2.1.4 图像降质产生图像降质的因素很多，如光学系统的象差、成象过程的相对运动、X 射线的散布特性、各种外界因素的干扰以及噪声等等 78。本章讨论的只是点降质和空间降质二种。所谓点降质是降质因素只影响图像中象素的灰度级变化，而空间降质是降质因素引起空间模糊，这二种降质一般可用数学上的降质模型来描述。产生图像降质的一个复杂因素是随机噪声问题，在形成数字图像过程中，噪声会不可避免地加进来
23、。我们在考虑有噪声情况下的图像复原问题，就必须知道噪声的统计特性以及噪声和图像信号的相关情况，这是非常复杂的。图像的超分辨率重建的目的是消除卷积因素造成的图像降质。因此，重建的结果应能改善图像的分辨率。另一方面，由于反卷积问题病态和观测图像含有噪声，因此必须在改善分辨率和噪声抑制之间进行折衷。- 5 -2.1.5 超分辨重建问题的定义超分辨率重建是数字图像处理的一个重要研究方向，也是近年来的研究热门，它是指利用多帧低分辨率图像，通过一定的重建算法得到高分辨率图像。 一般，可把SRR 算法分为基于重建和基于学习两类，基于重建的算法如 POCS、MAP 等利用一些先验知识来约束求解过程，以达到增加
24、细节信息的目的；基于学习的算法首先需要学习高低分辨率图像之间的非线性降质关系，然后再根据这种降质关系恢复高分辨率图像。 2.2 超分辨数字模型的建立由公式 1111.NNNYDCFEHXXEY(2.5)所确定的退化模型，可知要从低分辨率图像重构高分辨率图像，必须首先确定退化矩阵 1H以及系统噪声E 的形式，然后再选择合适的重构算法求取最优的高分辨率图像，据此可以将图像超分辨率重构分解成三个功能相互独立的模块：1运动参数估计，2图像及噪声分布形式，3图像插值重如图下图所示：图 2.1 系统参数估计2.3 图像超分辨重建方法超分辨率图像重建技术于 1960 年代由 Harris 和 Goodman 最初以单张图像复原的概念和方法提出。1980 年代初，Tsai&Huang 首先提出了基于序列或多帧图像的超分辨率重建问题，并给出了基于频域的逼近的方法 4。1980 年代后期，随着计算机、电
