1、浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究毕业设计(论文)论文题目 基于 PDE 与纹理合成的 马赛克修复研究Research of Mosaic InpaintingBased on PDE and Texture Synthesis浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究基于 PDE 与纹理合成的马赛克修复研究摘要:随着视频技术的飞速发展与数码电子产品的日益普及，高质量图像及其序列的采集与处理已成为一个非常活跃的研究领域。而去马赛克是其中一项必不可少的关键性技术。视频修复是图像修复的推广，图像修复的目的是根据图像现有的信息来自动恢复丢失的信
2、息。图像修复问题主要关心图像中与视觉效果密切相关的结构和纹理两类信息。对应于这两类信息，基于偏微分方程的修复方法和基于纹理合成的方法各自取得了一定的发展。然而这两种方法存在各自的优缺点，且具有一定的互补性，为了获得更好的修复效果，考虑将二者结合起来综合分析。BSCB算法采取的是全局式搜索方式，搜索匹配块的过程比较费时，本文研究的是马赛克缺陷视频的修复，视频序列数据的庞大使得修复计算的高效性变得愈发困难。因而，本文的主要工作是在BSCB模型算法的基础上做出了相应的改进。最后，论文对所提出的算法进行了大量的实验仿真，实验结果证明了算法的有效性。关键词：图像修复；去马赛克；偏微分方程；纹理合成浙江传
3、媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究RESEARCH OF MOSAIC INPAINTING BASED ON PDE AND TEXTURE SYNTHESISAbstract: With the rapid development of video technology and the popularization of digital products, the collection and disposal of image and its sequence which is of high quality, become as an active field
4、，in which demosaic is a necessary key technique.Video inpainting is an extension of image inpainting. The objective of image inpainting is to restore the lost information according to around image information, Image inpainting mainly concerns with structural and textural information, which is closel
5、y connected with the visual effect of the imageCorresponded with the two sorts of information, the inpainting methods based on PDE and on texture synthesis developed to a certain extent respectivelyHowever, there are both relative merits and complementarity in these two methods. Therefore, these two
6、 methods are considered to be put together in order to achieve better repairing result.BSCB algorithm is based on globally searching the source patch, which leads to a time consuming process of searching matching patches. Whats more, this paper mostly concentrates on the restoring of mosaic video, t
7、he enormous image sequences make efficiently inpainting much more difficult. Hence, my work is to put forward improved algorithm based on previous research of BSCB algorithm to improve the performance of the image restored.At last, based on the theoretical analysis, lots of numeric experiments are p
8、erformed, and the experimental results verify the improvements of the proposed algorithm.Key words：image inpainting; demosaic; partial differential equation; texture synthesis浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究目 录1 绪论 .11.1 研究背景 .11.2 国内外现状 .11.3 研究的目的与意义 .22 传统手工修复和数字图像修复的对比 .32.1 手工修复 .32.2 数字图像修复 .
9、43 马赛克缺陷视频修复的概要研究 .53.1 马赛克缺陷视频产生原因 .63.2 马赛克故障图像特点总结 .63.3 马赛克缺陷视频帧修复原理 .63.4 马赛克缺陷视频修复设计思路 .84 马赛克缺陷视频修复的详细设计 .84.1 马赛克修复算法原理及其步骤 .84.1.1 BSCB 模型 .94.1.2 算法的改进 .104.1.3 本文算法流程 .134.2 算法的核心部分 .144.2.1 优先权的设定 .144.2.2 最佳匹配块的选择 .144.2.3 纹理合成过程 .164.3 马赛克缺陷视频修复处理流程 .175 马赛克缺陷视频修复的实验与测试 .185.1 马赛克缺陷视频修
10、复的实现 .185.1.1 实现平台 .18浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究5.1.2 运行环境 .185.1.3 视频序列的获取和合成 .195.2 马赛克修复测试 .195.3 马赛克缺陷帧的修复 .195.4 算法比较 .205.4.1 修复效果比较 .205.4.1 用时比较 .216 总结和展望 .216.1 总结 .216.2 展望 .22致 谢 .24参考文献 .25浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究第 1 页共 25 页1 绪论1.1 研究背景随着
11、视频技术的飞速发展与数码电子产品的日益普及，高质量图像及其序列的采集与处理已成为一个非常活跃的研究领域，通过利用图像分割、图像识别、图像修复等技术来对视频帧信息进行处理使其成为高质量的视频已成为热门应用领域之一。人类自身生存和活动在一个多维的宇宙空间当中，人类认识世界最为直接的方式就是通过视觉获得图像，视觉为我们提供了60的信息来源 1，“百闻不如一见”、“一图值千字”，可以毫不夸张的说，21世纪是信息获取处理及其应用世纪，更是视频图像处理和应用的世纪。以往视频资料的存储介质一般为胶片、光盘、磁带等，而胶片上化学物质随着时间在空气中的退化反应以及以前胶片保存技术的落后，很多影片无法良好地保存，
12、或者损坏或者丢失或者老化。根据美国国会图书馆的一个调查，美国80的无声电影已经无法修复；另一个报告指出：90的1930年以前拍摄的无声电影和50的1950年以前拍摄的无声电影已经完全损坏。国内这方面的统计不得而知，但是我国电影胶片的保存手段和意识相比国外更加落后 2。因此可以推断，我国有很多的旧电影存在严重的质量损伤情况。而电视台最重要的媒体实体就是历年保持的视音频节目和素材资料，这些资产具有很高的价值，甚至超过设备等固定的有形资产。因而如何修复这些电影资料并对其进行数字化存储已经成为迫在眉睫的任务 3。同时，由于以前的电影制作设备本身的一些欠缺以及电影胶片在拷贝、播放和存放过程中不可避免地受
13、到一些损伤，现保存下来的影片出现了诸如马赛克、抓痕、闪屏、花屏、静帧等问题，视觉效果上大打折扣。如不及时对这些影片进行翻新修复工作，这些保存下来的影片也将不复存在。因此，将这些保存下来的影片及时进行翻新修复是一项很紧急的任务。而Demosaic( 去马赛克)则是其中一项必不可少的关键性技术。1.2 国内外现状图像修复有着悠久的历史，最早可以追溯到欧洲文艺复兴时期，为了恢复遭受破坏的美术作品，艺术家们利用人的感知力和想象力对作品的裂痕等受损区域进行修补,使其恢复和保持图像的完整性。近年来，研究者将艺术品修复的概念引入数字图像和视频的处理过程，提出了数字图像视频修复的概念 4。数字图像修复inpa
14、inting一词最初是由Bertalmio引入到图像修复领域的，自从Bertalmio最早期的工作以后，数字图像修复技术就得到了广泛的应用。近些年，国内外发表的图像修复方面的论文提出了很多卓有成效的修复模型和方法。其中具有代表性的一类是用于小尺度缺损目标修复的图像修复技术，其核心思浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究第 2 页共 25 页想是一种基于偏微分方程(PDE)的算法，另一类是基于纹理合成的模型和方法。基于偏微分方程的修复模型就是将图像修复过程转化为一系列的偏微分方程或能量泛函模型，从而通过数值迭代和智能优化的方法来处理图像。该类算法对裂缝、污点、划痕、文
15、字覆盖等小尺度破损区域的修复取得了良好的效果。然而，对于大尺度的破损待修复区域，修复结果则会产生明显的模糊现象。对于待修复区域及其周围的纹理相当丰富时,也得不到很好的效果。基于纹理合成的图像修复在可用候选区域寻找“相似的”区域，拷贝至对应待修复区域，重建图像细节信息，但是受限于线形结构，当不同的特征区域相遇时通常不连续。图像修复问题主要关心图像中与视觉效果密切相关的结构和纹理两类信息。如果说图像的结构相当于图像的骨骼，那么图像的纹理就相当于图像的血肉，图像的完整性除了骨骼的完整还必须包含血肉的完整。对应于这两类信息，基于偏微分方程的修复方法和基于纹理合成的方法各自取得了一定的发展。具体地讲，基
16、于偏微分方程的方法由于不适用于刻画纹理信息无法修复纹理，而基于纹理合成的修复方法在结构信息方面具有弱势，容易造成人工边界。两种方法存在各自的优缺点，且具有一定的互补性，为了获得更好的修复效果，考虑将二者结合起来综合分析。这样的修复结果比单纯采用结构修复方法或纹理修复方法效果要好，这也是当今国内外数字图像修复技术的发展趋势 5。如图 1.1所示。图像修复非纹理图像修复纹理图像修复偏微分方程模型纹理合成修复模型面向过程的微观仿真修复面向对象的宏观变分模型特征匹配结合 PDE 和纹理合成修复模型图1.1 数字图像修复技术发展方向1.3 研究的目的与意义为了恢复视频信息的“合理”和“完整”性以便观察者
17、识别和理解，需要对这些受损的视频帧进行填充修复。对视频帧的图像修复就是对图像上信息缺损区域进行信息填充的过程，其浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究第 3 页共 25 页目的就是为了对有信息缺损的图像进行恢复,并且要使观察者无法察觉到图像曾经缺损或已被修复。本课题根据视频帧中马赛克出现的位置，采用图像处理和修复算法对已损坏的帧进行修复。当对视频中每一帧的缺陷都进行修复后，修复后的旧电影播放的视觉效果就如同电影初次播放时的视觉效果。虽然目前有一些功能强大的图像处理软件，例如Photoshop，也可以对残缺的数字图像进行修补，但是需要有经验的专业技术人员进行复杂的手工
18、处理，无法达到计算机自动处理的目的，而且处理效率低下，需要较长时间才能完成一幅图像的处理。另外对于视频图像修补这样的大数据量操作，人工处理更是不现实。因此，现在图像修补技术的研究旨在寻找更智能化、修复效果更好的算法，只需要用户简单地选择需要修复的区域，计算机就那根据图像的特征信息自动地完成修补图像的工作，显著减少处理时间，提高工作效率，完成一些人力难于完成的任务。综上可见，研究自动图像修复技术具有十分重要的实践和理论意义。该技术的研究不仅可以直接作用于人们的日常生活和工作，提高视频修复的工作效率，还可以推动智能图像处理技术的发展，使数字图像处理技术得到更广泛的应用。论文在论述安排上主要分为以下
19、几个部分：第一章 简要介绍缺陷视频修复的研究背景和国内外现状以及本课题的主要研究目的和意义。第二章 简要介绍传统手工修复和数字图像修复的原理，并进行了概要的比较和总结。第三章 概要介绍马赛克缺陷视频修复的概要研究，包括马赛克图像特征表现，马赛克缺陷视频产生原因，马赛克缺陷视频帧修复原理以及马赛克缺陷视频的总体设计思路。第四章 详细介绍马赛克缺陷视频修复的设计方法，包括视频修复算法的原理、处理流程以及每一步的实现方法。第五章 进行实验测试，分析数据。第六章 总结全文，指出自己所做工作以及设计和论文需要进一步改进的地方。2 传统手工修复和数字图像修复的对比2.1 手工修复视觉心理学的分析得出的结论
20、表明，人类视觉在认知图像的受损区域时，会对图像受损区域有自动填充的功能，且随着区域的增大而减弱。同时，人类视觉感知的修复过程还具有如下三个特点 6：(1) 亮度填充要比纹理填充迅速；浙江传媒学院本科毕业设计 基于 PDE 与纹理合成的马赛克修复研究第 4 页共 25 页(2) 填充取决于邻域复杂性以及密度，越规则越易受辨识；(3) 填充结果尽量与邻域保持一致。修补技术是一项古老的艺术，开始出现是在欧洲文艺复兴时期。当时，人们为了恢复美术作品中丢失或被损坏的部分并同时保持作品的整体效果，对中世纪的美术品进行修复，这些工作被称为“retouching（润饰）”或者“inpainting（修补）”
21、7。技术经验丰富的艺术馆人员在修复艺术品时，首先判断原图的主体线条走向，连接待修复区域内的主要线条，然后在此基础上填充相应的背景色，完成结构信息的恢复，最后在根据邻域信息添加必要的细节，也就是纹理，使得修复结果显得自然协调更符合原图的风貌，得到最终的修复结果，可见，手工修复的过程符合上述人类视觉感知的过程。2.2 数字图像修复相比古代的人工修复技术，采用计算机进行数字图像修复具有一些优点：（1）采用计算机处理，自动完成修复过程，大大减少了人工修复的劳动强度，为图像修复提供了更加方便快捷的途径；（2）避免了原件被损坏的风险。由于数字图像的可复制性及处理流程的可逆转性特点，不会损坏原来的图像；（3
22、）可以反复实验，直到满意为止。数字图像修复技术可以在不改变原图像的基础上尝试不同的修复方法。在经典的近似原理中，平滑修复允许我们严格的研究修复的精确性。在许多应用中，这些模型并不实际，因为：（1）许多图像包括了边缘及纹理等非光滑的成分，这就决定了图像的函数模型应该是非平滑的。（2）图像中常常含有噪音。显然在手工修复过程中，人类的认知能够很轻松地解决上述的问题，因此在建模的过程中，期望能够模仿手工修复的机制，建立更加可靠的低层的修复模型。因此，这些特性使建模还原为Helmholtz最佳猜测原理。在被马赛克覆盖的区域中，物体连通的方式只能基于我们所能看到的部分进行猜测。类似的，修复古画时，修复者只能根据已存在的特征从而对丢失部分做出最佳猜测来填充色彩和物体。文献总结了基于视觉感知的图像修复规律 8：（1）图像修复模型是局部性的。因为我们建立的模型不需要知道图像的全局信息，待修复区域的信息完全由待修复区域周围的已知信息决定。然而，当待修复区域是一张人的肖像画，缺损区域为人的两只耳朵，这时我们只有根据先验知识进行修复，而不能根据一般的理论进行修复。根据理论修复的结果肯定是没有耳朵。
