1、模糊图像复原算法研究实现,报告人： 导师：专业：计算机技术,研究目的和意义,图像复原，是通过图像复原技术对降质的图像进行处理，提升图像质量。,2,目标的快速移动,相机的抖动,研究现状,利用惯性测量传感器 Joshi et al. 2008,利用模糊和噪声图像对 Yuan et al. 2007,梯度重尾分布及核稀疏性 Fergus et al. 2006,两个不同方向模糊图像 Rav-Acha et al. 2007,图像强度和梯度L0正则化 Pan et al. 2014,3, 加入编码孔径Levin et al. 2007,滤镜面板全尺寸展示,滤镜参数展示,参数窗口展示,主窗口展示,商业应
2、用,4,5,主要工作,单尺度基于距离限制的局部模糊检测优化算法自动控制的模糊核估计算法局部模糊RL非盲反卷积算法,局部模糊检测：（1）提出了单尺度的利用基于距离限制上下文的局部模糊检测优化算法；（2）首先提取图像块重尾分布、峰度、功率谱、线性滤波等模糊特征，然后使用贝叶斯法学习模型，计算后验概率作为初步估计模糊响应；（3）再利用单尺度的距离限制的上下文以减小计算量，从而构造新的能量函数进行全局优化，通过最小化能量函数得到最终的模糊响应。,模糊核估计：（1）提出了自动控制的模糊核估计算法；（2）先将图像及初始模糊核进行多尺度缩放，从分辨率低尺度开始，交替迭代的估计核及中间潜在图像；（3）在每一次
3、迭代结束后，根据模糊核修正情况判断是否停止迭代。,非盲反卷积：（1）提出了局部模糊RL非盲反卷积算法；（2）首先利用模糊/非模糊响应函数及掩码控制只有模糊区域中的像素对下一次迭代复原起效果；（3）计算相邻两次迭代复原图像的差异变化程度判断是否停止迭代；再利用模糊/非模糊二值掩码合并模糊部分的复原结果和原图中非模糊部分得到复原图。,6,退化与复原模型,退化的数学公式：,复原问题难点反向问题，具有严重的病态性，高维解空间,退化与复原模型,7,本文总体框架,8,局部模糊检测待解决问题,待解决问题：多尺度特征局部模糊检测方法时间效率低。,局部模糊图 初始模糊特征响应结果 多尺度局部模糊检测结果,9,多
4、尺度特征局部模糊检测方法,该方法使用三种不同的特征提取窗口获取三个不同尺度的局部模糊特征，为了提高初始模糊响应估计准确率，建立三层图模型，对初始模糊特征进行全局优化。构造的能量函数：,数据保真项，防止在求解能量最小化过程中过大的失真,同一尺度下各像素与其领域内其他像素点模糊特征不同产生的惩罚,不同尺度间相关联像素模糊特征不同产生的惩罚,最终想要得到优化后的局部模糊响应，就是最小化能量函数E，使关联的像素尽可能有一致的特征响应，并保持总体特征结构。优化E的可用环路置信传播算法。,10,模糊检测优化算法解决方案,多尺度特征局部模糊检测方法在对初始特征进行优化弊端在于：首先，对同一尺度内像素点只考虑
5、4-邻域内的信息作为其上下文，进行平滑，偶然性比较大，易造成误差；再次，需要在多尺度下重复计算局部模糊特征，需要建立的邻接关系复杂，计算量大，时间效率低。,-在窗口范围内选择邻接点。通过实验发现，直接使用以像素点为中心的c*c范围内所有点作为其邻接点，邻接点过多，优化算法效率会下降，因此本文引入距离限制，利用距离像素点c步长的近邻信息作为该点上下文，如右图，其中灰色为处理点，黑色点为灰色点的邻接点，即灰色点的模糊响应值需要考虑所有黑色点的信息。这样不但可以通过尺寸的增加，使上下文获得较大的支撑域，更充分的考虑周围的信息，减小误差，还可以减少计算量，提高时间效率。,11,改进上文的能量函数：,模
6、糊检测优化算法结果比较,本文方法不同参数准确率-召回率曲线对比 不同方法准确率-召回率曲线对比,12,与现有的方法相比，当参数选择合适时，在召回率为0,1范围内本文的使用的方法都能够获得比较高精确度。,使用文献9数据集中600张图（其中包括296张部分运动模糊和304张散焦模糊图片，并且每张图像都有经过人工标定模糊区域的标记图）进行模糊检测,模糊检测优化算法结果比较,13,给出了具体的三个例子，说明本文提出的距离限制的局部模糊检测优化算法能获得较明显的优化效果。,对比文献中方法,模糊检测优化算法结果比较,14,本文选择在单尺度下进行特征优化，不需要多次提取特征，当参数选择合适时时，时间效率也得
7、到较大提升。,15,模糊检测优化算法结论,对基于特征的局部模糊检测算法的改进：将邻近像素点的模糊响应信息作为上下文更新像素点自身响应信息，通过增加上下文支撑域的尺寸以更充分的考虑周围信息，使用单尺度的距离限制的上下文以减小计算量，从而构造新的能量函数进行全局优化，通过最小化能量函数得到最终的模糊响应。 实验结果表明该算法在检测的优化效果得到提升的同时提升了时间效率，提高了算法的性能。,局部模糊提取步骤,最终二值掩码,模糊提取阶段,模糊区域提取的流程图,文献9的分割结果,文献9的分割结果,本文的分割结果,本文的分割结果,16,虽然此时的二值掩码依然存在误差，但其对模糊/非模糊区域的边界处理较好，
8、在模糊检测有误差的情况下，本文的方法能比较完整地提取出模糊区域。,模糊核估计待解决问题,待解决问题：基于图像强度及梯度的L0正则化模糊核估计方法，当处理的图像很大时，时间效率十分低。,模糊图像 复原图像 模糊核,17,18,基于图像强度及梯度的L0正则化模糊核估计方法,基于图像强度及梯度的L0正则化模糊核估计方法，首先根据模糊核大小构建模糊核及模糊图像多层分辨率图像金字塔，通过L0正则化项将图像强度和梯度及模糊核的先验知识引入模型中，在估计潜在清晰图像时，能将许多微小的不利于复原的结构去除，形成边缘定位更准确的潜在清晰图像，构造总的能量函数：,约束噪声的距离函数，假设公式退化复原模型中加性噪声
9、是符合均值为零的高斯，采用L2范数，对应高斯似然，得到的图像和观察到的模糊图之间的差异,图像先验，通过研究文本图像与相应的模糊图得出的关于像素强度与梯度L0正则化项（研究表明，该先验在自然图像模糊核估计方面也表现良好，对低照度或含有饱和像素的模糊图像同样表现出良好的鲁棒性）,模糊核具有稀疏性，使用L2正则化进行约束,将总的能量函数分为两个独立的子问题：,交替迭代地求解潜在清晰图像L和模糊核k，直至收敛。,基于图像强度及梯度的L0正则化模糊核估计方法,合成模糊图像的模糊核估计时间方面表现情况,19,虽然上述模糊核估计的方法能够得到比较好的结果，但当对较大的图像处理时，时间的效率十分低，如图可知，
10、随着迭代处理图像大小的增大，耗时也在增加且增加的速度越来越快。,基于图像强度及梯度的L0正则化模糊核估计方法,估计的核与真实模糊核的PSNR值和SSIM,中间潜在图像与真实清晰图像的PSNR和SSIM值,20,随着迭代不断进行，中间过程中估计的模糊核和中间潜在图像越来越接近真实的模糊核和清晰图像；且在同一个尺度中，随着迭代的进行，模糊核所得到的修正或改善越来越小；随着当前处理图像尺度不断接近原始图像尺度，模糊核所得到的修正或改善也越来越小。,21,L0正则化模糊核估计方法解决方案,改进：,模糊核及潜在图像相似度可使用SSIM指标，SSIM值越大，那么相邻两次迭代的结果越相似，表示估计的核修正程
11、度越小。,22,L0正则化模糊核估计方法结果比较,由于迭代过程的截断使本文估计的模糊核在精度上确实有所缺失，但是其趋势与原方法保持一致并且误差较小。,估计的核与真实核PSNR值,原方法,本文,估计的核与真实核SSIM值,L0正则化模糊核估计方法结果比较,23,中间潜在图像与真实清晰图像的PSNR值,原方法,本文,中间潜在图像与真实清晰图像的SSIM值,同样，由于迭代过程的截断使本文获得的中间潜在清晰图像在精度上确实有所缺失，但是其趋势与原方法保持一致并且误差较小。,L0正则化模糊核估计方法结果比较,24,使用文献21提供的7个模糊核及9张真实图像（其中2张为饱和图像）来合成模糊图像，共合成63
12、张实验图像作为数据集进行模糊核估计的实验,虽然本文所提出的改进的方法会因为截断迭代过程而造成估计精度的下降，但与现有的效果较好的方法相比，不管从结构相似度或是峰值信噪比看，本文的方法都能得到比较优秀的结果。,原方法,L0正则化模糊核估计方法结果比较,25,给出第3个模糊核和清晰文字图片5合成的模糊图像使用各方法估计的复原结果比较，可以看出，本文的方法没有造成明显的误差。,原方法,L0正则化模糊核估计方法结果比较,(a)模糊图像,(d)文献38结果及模糊核,(c)SD复原图及估计的模糊核,(b)PS复原图及估计的模糊核,(g)本文复原结果及模糊核,(f)文献21结果及模糊核,26,给出自然场景、
13、含饱和像素及纹理复杂的模糊图像使用各方法估计的复原结果比较，可以看出，本文的方法没有造成明显的误差，且具有较强的鲁棒性和较广的适用性。,合成的模糊图像估计模糊核时间效率对比,L0正则化模糊核估计方法结果比较,27,对于不同的图片，使用本文算法所带来时间上的改善不同。本文算法在时间方面对原方法较明显的改进，尤其是当模糊图像较大时，由于算法耗费的时间主要集中在最后几层中，而模糊核的修正不明显，根据本文算法符合条件停止迭代，能显著减少算法耗费时间。,28,L0正则化模糊核估计方法结论,改进的L0正则化模糊核估计方法，通过在迭代求解过程中加入结果相似度判断来自动控制算法何时停止，进而将一些效率低的步骤
14、删除，从而提高时间效率。 实验表明，本文的改进算法能有效地估计运动模糊核，在基本保持模糊核准确率及复原效果的情况下减少迭代次数，提高时间效率，通过牺牲一部分估计效果换取了其时间效率的提高。,29,非盲反卷积三种情况,非盲反卷积就是使用已知或已计算得到的模糊核估计出振铃少、噪声少、细节丰富、质量高的清晰图像。 本文主要针对不含饱和像素、含饱和像素和局部模糊图像这三种模糊图像分别进行讨论：(1)不含饱和像素模糊图像拉普拉斯先验的非盲反卷积；,复原清晰图像的表达式为：,约束噪声的距离函数，分布采用L2范数，对应高斯似然,许多研究中表明，自然场景图像梯度分布符合重尾分布的。构造相应的正则化项，对图像梯
15、度进行惩罚。高斯似然和拉普拉斯先验表达简单并且有较强的抗噪能力和容错能力,30,非盲反卷积三种情况,非盲反卷积就是使用已知或已计算得到的模糊核估计出振铃少、噪声少、细节丰富、质量高的清晰图像。 本文主要针对不含饱和像素、含饱和像素和局部模糊图像这三种模糊图像分别进行讨论：(1)不含饱和像素模糊图像拉普拉斯先验的非盲反卷积；(2)含饱和像素模糊图像反卷积饱和RL反卷积算法；(3)局部模糊图像局部模糊RL非盲反卷积。,饱和RL反卷积,在饱和模糊图像反卷积方面，使用正则化方法，由于饱和像素不符合上文给出的退化模型，通常会造成比较严重的振铃，而饱和RL非盲反卷积算法，是迭代的方法，通过在每次迭代中利用
16、非线性饱和响应函数自动地让饱和像素不参与迭代即不进行更新；并利用二值掩码将图像分为明亮区域和非明亮区域，非明亮区域内的更新操作不允许明亮区域中像素参与，从而防止误差传递，最终达到减小饱和像素的影响的目的。,明亮区域S使用的迭代公式为： 非明亮区域U使用的迭代公式为：,由U产生的二值掩码，其作用是只允许U中的像素参与非明亮区域的更新迭代,31,饱和响应函数：非饱和像素部分：饱和像素部分：,原始的清晰图像与当前估计的清晰图像的误差比,迭代的更新比率,32,局部模糊非盲反卷积待解决问题,待解决问题：虽然标准RL算法在非模糊区域和模糊区域交界附近较正则化方法能产生较更少的振铃，但振铃仍然明显。,模糊图
17、 RL反卷积结果,拉普拉斯先验正则化方法反卷积结果,32,局部模糊RL算法解决方案,根据标准RL反卷积算法，清晰图像迭代的表达式为：标准RL反卷积算法没有对模糊和非模糊区域分开处理，非模糊区域的误差容易传入模糊区域。 本文提出局部模糊RL非盲反卷积算法，将图像分为模糊区域和非模糊区域分开处理，结合模糊/非模糊响应函数计算原始的清晰图像与当前估计的清晰图像的误差比，计算迭代更新速率，根据更新速率得到新的估计图像。,复原的迭代公式为：,模糊/非模糊响应函数（逐点操作）：,33,局部模糊RL算法解决方案,本文提出局部模糊RL非盲反卷积算法，将图像分为模糊区域和非模糊区域分开处理，结合模糊/非模糊响应
18、函数计算原始的清晰图像与当前估计的清晰图像的误差比，计算迭代更新速率，根据更新速率得到新的估计图像。,模糊区域BL使用的迭代公式为： 非模糊区域CL使用的迭代公式为：,34,是由BL产生的二值掩码，其作用是只允许BL中的像素参与更新迭代,原始的清晰图像与当前估计的清晰图像的误差比,迭代的更新比率,拉普拉斯先验的非盲反卷积结果比较,各种反卷积结果PSNR平均值,各种反卷积结果SSIM平均值,35,使用文献21提供的7个模糊核及7张不含饱和像素的图像来合成模糊图像，共合成49张实验图像作为数据集进行非盲反卷积的实验，并使用同一的由本文提出的模糊核估计方法得到的模糊核,拉普拉斯先验的非盲反卷积算法不
19、管从峰值信噪比和结构相似度指标看，总体上都有良好的表现。,拉普拉斯先验的非盲反卷积结果比较,(a)合成的模糊图像及真实模糊核,(b)中间潜在图像及本文估计模糊核,(c)标准的RL反卷积,(d)维纳滤波反卷积,(e)约束最小二乘滤波反卷积,(f)拉普拉斯先验的反卷积,36,相比起来，拉普拉斯先验的非盲反卷积结果能复原更多细节和结构，同时引入的噪声较少。,饱和RL反卷积结果比较,各种反卷积结果PSNR平均值,各种反卷积结果SSIM平均值,37,给出了各反卷积结果的PSNR和SSIM值，可以看出对于含饱和像素模糊像素来说，饱和RL反卷积算法从PSNR指标看，有比较明显的优势。,使用文献21提供的7个
20、模糊核及2张夜间含饱和像素的图像来合成模糊图像，共合成14张实验图像作为数据集进行非盲反卷积的实验，并使用同一的由本文提出的模糊核估计方法得到的模糊核,饱和RL反卷积结果比较,(a)合成的模糊图像及本文估计模糊核,(b)维纳滤波反卷积,(c)约束最小二乘滤波反卷积,(d)拉普拉斯先验反卷积结果图,(e)标准的RL反卷积,(f)饱和RL反卷积结果图,38,维纳滤波反卷积、约束最小二乘滤波反卷积以及拉普拉斯先验反卷积算法复原的饱和图像也存在明显的振铃，都不能有效地对饱和模糊图像进行复原。而标准的RL算法饱和模糊图像反卷积时有比较好的振铃抑制作用。相较于标准的RL非盲反卷积算法，饱和RL非盲反卷积算
21、法所复原的图像拥有更少的振铃，复原质量更高。,39,局部模糊RL非盲反卷积结果比较,(a)模糊图像,(b)文献21的复原结果,(c)使用拉普拉斯先验反卷积的复原结果,(d)标准RL反卷积的复原结果,(e)本文局部图像RL非盲反卷积（不控制误差传播）的复原结果,(f)本文局部图像RL非盲反卷积的复原结果,综合观察各图可知，本文提出的局部模糊RL非盲反卷积算法能在复原局部模糊的情况下，能尽量地减少估计的模糊/非模糊边界处的振铃效应。,非盲反卷积结论,在处理不含饱和像素模糊图像时，本文采用高斯似然和拉普拉斯先验，实验表明，拉普拉斯先验的非盲反卷积算法能在较短的时间内利用估计出的模糊核复原模糊图像，时
22、间效率高且复原质量高。 在对含饱和像素模糊图像反卷积时，本文采用饱和RL反卷积算法，实验表明，饱和RL非盲反卷积算法能减小饱和像素的影响，有效地抑制振铃。 在处理局部模糊图像时，本文提出局部模糊RL非盲反卷积算法，利用模糊检测提取获得的二值掩码构造模糊/非模糊响应函数，并利用该二值掩码防止非模糊区域的误差传播至模糊区域，实验表明，本文提出的局部模糊RL反卷积算法复原的局部模糊图像振铃程度低。,40,41,本文结论,(1)通过研究多尺度特征局部模糊检测算法，提出单尺度的基于距离限制上下文的局部模糊检测优化算法。实验表明，本文算法能有效检测图像的局部模糊，在检测的优化效果得到提升的同时提升了时间效
23、率。在模糊检测方面，实验表明，在模糊检测有误差的情况下，本文的方法能将模糊的区域大部分提取出来。 (2)改进的L0正则化模糊核估计方法，通过在迭代求解过程中加入结果相似度判断来自动控制算法何时停止，进而将一些效率低的步骤删除，从而提高时间效率。实验表明，本文的改进算法能有效地估计运动模糊核，在基本保持模糊核准确率及复原效果的情况下，减少迭代次数，提高时间效率。 (3)在非盲反卷积阶段，本文分别针对非饱和、饱和以及局部模糊图像的复原进行了讨论分析。在处理局部模糊图像时，本文提出局部模糊RL非盲反卷积算法，利用模糊检测提取获得的二值掩码构造模糊/非模糊响应函数，并利用该二值掩码防止非模糊区域的误差
24、传播至模糊区域，实验表明，本文提出的局部模糊RL反卷积算法复原的局部模糊图像振铃程度会有比较明显的下降。,42,改进与展望,(1)在模糊检测阶段，当模糊区域纹理丰富而清晰区域较平坦时，检测常常失灵，虽然本文中有对其进行优化，但进一步从语义级别进行模糊检测，提高检测效率，将是未来的方向。(2)复杂运动模糊核大小确定，在之前的文章中并没有过多的提及这一问题，现在也有一些相关研究，但主要是针对定向运动或散焦模糊的，而一般复原算法都是假设已知模糊核的大小的。但是模糊核大小却影响着复原的结果，所以也将是未来研究的方向。(3)在模糊核估计中，本文注重将“多余”或“性价比低”的步骤删除，虽然本文所提出的改进能加快结果的输出，但是并没有在根本上加速算法，创新性有限，如何加速迭代收敛速度将是下一步研究的方向。,43,谢 谢,
