1、 本 科 毕 业 论 文 图像感兴趣区域提取技术研究 显著度图的生成算法 Region Of Interest Extraction Research Saliency Map Algrithm 姓 名： 学 院：软件学院 系：软件工程 专 业：软件工程 年 级： 学 号： 校内指导教师： 年 月 摘 要 随着科学技术的发展，人类的信息载体也越来越多样化，图 像作为重要的信息载 体 ，一方面对于 信息 传递给我们带来了很大的方便，但另一方面其与日俱增的庞大的数据量，给图像的人工分析带来了很大的困难，所以人们想到使用计算机自动处理图像信息 。 在该领域的研究中，研究者们发现，图像的观察者只对图像
2、的某一部分感兴趣，如在观察人时，我们可能只对他的脸部感兴趣，在医学中，医生只对病变部位感兴趣等。 ROI(Region of Interest， 感兴趣区域 )检测技术因此应运而生 。 感兴趣区域即图像中最能引起用户兴趣，最能表现图像内容的区域，如能提取出这些区域将会大大提高图像处理和分析的效率 和准确度。如今ROI 提取技术已经在许多领域得到了应用 ，如 JPEG2000 压缩编码、机器视觉中目标区域定位与识别、视频信息中字幕及标识 的自动提取与识别、智能交通系统中车牌区域的自动提取与识别、医学图像分析等。 ROI 检测技术在图像分析与处理领域中起着越来越重要的作用。 本 论 文 的研究重点
3、是如何根据输入的图像生成显著度图 （ Saliency Map） 。显著度图是指所有像素的显著值（ Saliency，像素在颜色、亮度、方向等方面与背景的对比度）所构成的图。本论文 首先对 ROI 的提取方法进行了详细介绍，包括基于用户交互的提 取方法、基于变换的提取方法以及基于视觉注意的提取方法。然后 按照 基于视觉的提取方法介绍了如 何 提取视觉特征、如何利用视觉特征生成显著度图以及如何利用显著度图生成最终的感兴趣区域。 接着详细介绍了一个提取感兴趣区域的例子。 实验结果证明，该方法能够快速有效地得到图像特征和图像中的感兴趣物体，取得良好的检索效果。 最后对 ROI 检测技术的应用前景进行
4、了展望。 关键字： 感兴趣区域； ROI；图像检索 Abstract With the development of science and technology, information carriers are increasingly diversified. As an important carrier, the image information has brought us great convenience with the transmission of information, but on the other hand, the ever-growing large am
5、ount of data has also brought great difficulties to the manual analysis of images, so using a computer image processing of information is put into use. Researchers have found that image observers are only interested in a certain part of image , for example, we may only pay attention to the face whil
6、e observing a person, and it is similar that doctors are only interested in lesions. ROI detection technique therefore came into being. ROI is the region of the image that people will be most interested in and it can most represent image content. If it can be extracted, efficiency and accuracy of th
7、e image processing and analysis will be greatly improved. Today, techology of ROI extraction has been applied in many areas. For example, JPEG2000 compression decoding, location and recognition of the target regio n in machine vision, automatic extraction and recognition of subtitles and marks in vi
8、deo information, automatic extraction and recognition of the license plate in Intelligent Transport System, analysis of medical images, etc. ROI detection plays an increasingly important role in the field of image analysis and processing. This paper focus on how to generate saliency map from an inpu
9、t image.Saliency map is composed of all saliencies(contrast to background in color, brightness, direction,etc.) of the pixels. This paper first introducts methods of extraction of ROI in detail, including the method based on user interaction, method based on transform and method based on visual atte
10、ntion. Then it introducts how to extract visual features, how to generate saliency map using visual features and how to generate ROI using saliency map. And then it gives an example. The experimental results show that this method can be quickly and efficiently extract image features and objects in w
11、hich people are interested to obtain good retrieval results. Finally, it makes prospect of the ROI technology. Key words: region of interest; ROI; image retrieval 目录 第 1章 引言 .1 第 2章 感兴趣区 域 ROI提取 的方法 .3 2.1 概述 .3 2.2 基于用户交互的提取方法 .3 2.3 基于变换的提取方法 .4 2.3.1 基于拐点的方法 .4 2.3.2 基于灰度变化的方法 .5 2.4 基于视觉注意的提取方法
12、.7 2.4.1 自底向上的注意模型 .8 2.4.2 自顶向下的注意模型 .9 第 3章 显著度图的生成 .10 3.1 提取视觉特征 .11 3.1.1 生成高斯金字塔 .11 3.1.2 提取特征 .13 3.2 根据视觉特征生成显著度图 .15 3.2.1 消除噪声 .15 3.2.2 综合所有特征 .17 第 4 章 根据显著度图提取感兴趣区域 .18 4.1 注视点聚类的方法 .18 4.2 区域生长法 .18 第 5章 ROI检测技术应用前景展望 .21 致谢 .22 参考文献 .23 Contents Chapter1 Introduction.1 Chapter2 Extra
13、ction of region of interest.3 2.1 Introduction.3 2.2 Method based on user interaction.3 2.3 Method based on transform.4 2.3.1 Method based on inflexion.4 2.3.2 Method based on gray-scale changes.5 2.4 Method based of visual attention.7 2.4.1 Bottom-up attention model.8 2.4.2 Top-down attention model
14、.9 Chapter3 Generation of significant map.10 3.1 Extraction of visual features.11 3.1.1 Generate Gauss-Pyramid.11 3.1.2 Extract features.13 3.2 Generate significant map according to visual features.15 3.2.1 Eliminate noise.15 3.2.2 Integrate all features.17 Chapter4 Extraction of ROI according to si
15、gnificant map.18 4.1 Clustering gaze.18 4.2 Region growth.18 Chapter5 ROI detection techology outlook.21 Acknowledgements.22 References.23 图像感兴趣区域提取技术研究 1 第 1 章 引言 随着信息化社会的发展，各种通信技术、多媒体技术越来越多地融入到人们的生活中，人们也越来越多地要接触到图像信息。用图像来表达信息具有简明扼要的特点，一幅好的图片所表达的信息量可以与一段文字相媲美，却大大节省了人们阅读和理解所花费的时间，所以每天都会有大量的图像信息不断产生。
16、据估算，进入 21 世纪之后，全世界每年新产生的图片将达到 800 亿幅以上，并且这个数字还在以惊人的速度增长。随之而来的便是“信息爆炸”的问题。 随着互联网技术的迅猛发展，信息的交换速度越来越快，包括图像在内的信息交换量也越来越 大。如何用最少的交换容量来表达最大的图像信息就成为了图像处理技术中的一个重要课题。这就涉及了图像数据压缩的方法。针对静态图像，专家提出了 JPEG 和 JPEG2000 等图像压缩标准，在基本保证图像质量的情况下，使用 JPEG 编码可以达到 10-40 倍的压缩效果，而使用 JPEG2000 编码甚至可以达到上百倍的压缩效果。针对动态 视频，同样有 MPEG-1、
17、 MPEG-2、 MPEG-4 和MPEG-7 等压缩标准。但是这些压缩编码标准都只是从纯粹的数学算法角度对图像信息进行压缩，而事实上图像处理是以人为最终归宿的，图像的质量也是 与人眼的视觉相匹配的。所以如何结合人眼的视觉对图像数据进行压缩处理就成为了一个新的课题。根据科学家对人眼视觉模型的研究，当观察者在观察一幅图片时，往往会首先将感兴趣的对象从整幅图像的背景中剥离出来，然后将更多的对包含该对象的区域进行集中观察。例如在一幅人像照片中，往往前景 (即人物 )更容易引起关注，而背景则成为衬托，包含相对较少的信息。由此便引出了一个“感兴趣区域” (Region of Interest)的概念。感
18、兴趣区域是图像中最能引起观察者兴趣、最能表现图像内容的区域，它含有的信息量最大，用这些区域就足以 描述整幅图像的内容。基于感兴趣区域的图像表示方法是用部分来概括整体，突出了图像的主要部分，从而消除了次要部分对观察者带来的干扰。对于一幅静态图像，如果能够实现自动提取图像的感兴趣区域，并在此基础上结合各种编码标准实现的图像压缩无疑会是效率最高的，而且可以保留原图像的绝大部分有用信息，更符合人眼的视觉特性和实际的视觉需要。事实上在 JPEG2000 标准中已经使用了图像感兴趣区域提取技术研究 2 感兴趣区域的方法，对标注为感兴趣区域的部分进行压缩 ，从而达到高压缩比与图像质量之间的一个平衡。此外，感
19、兴趣区域提取技术还适用于在小屏幕上观察图片。随着 无线移动技术的日益发展，手机承担起了越来越多的商务功能，会有更多的图片显示的任务从 PC 转移到手机上。而手机的屏幕相对较小，利用感兴趣区域提取技术，可以从一幅分辨率较高的图片中提取出面积较小的一部分，这样既不会降低用户所见图片的清晰度，又涵盖了图片中的大部分信息，保证了用户对图像信息的理解。由此可以看出，对自动提取图像感兴趣区域的研究，对于图像数据压缩、显示以及其它大规模图像处理工作具有重要的理论和实践意义。 图像感兴趣区域提取技术研究 3 第 2 章 感兴趣区域 ROI 提取 的方法 本章描述如何提取图像的感兴趣区域。 感兴趣区域是图 像
20、中最能引起用 户兴趣、最能表现图 像 内容的区域。区域是图 像 底层物理特征与高层语义特征之间的中层描述 ， 它在低层特征的基础上对图 像 进行更深一步的处理。在分割的区域层次上再进行分析和理解就有可能获取图 像 的某些语义特征。区域分割方法是最常采用的提取区域的方法，在一定程度上描述了图 像 的语义特征 。 但是区域分割只是一个集合划分过程，它不能有效地减少图 像 的冗余信息。感兴趣区域是图 像 的部分区域，并不构成一个划分。但是感兴趣区域是图 像 中最能体现内容的部分，含有的信息量大，所以用这些区域足以描述图 像 的内容。基于感兴趣区域的图 像表示方法是用部分概 括整体，减少了冗余信息。更
21、重要的是，它区分了图 像 各部分的重要程度突出了图 像 的主要内容，从而消除了次要内容带来的干扰。同时，基于感兴趣区域的图 像 内容表示方法回避了图 像 的精确分割的困难。 2.1 概述 基于感兴趣区域的 图 像 检索技术是一种新兴的有效的 图 像 检索技术，它很好地体现了 图 像 的语义特征。基于感兴趣区域的 图 像 检索技术分为如下几步： (1)感兴趣区域的检测与提取 ； (2)感兴趣区域的特征描述 ； (3)图 像 间相似度计算。其中，感兴趣区域的检测与提取是核心问题。 感兴趣区域的提取是基于用户感兴趣区域的 图 像 检索技术的一个核 心内容，根据感兴趣区域的提取方法不同，现有的基于感兴
22、趣区域的检索方法分为三大类： (1)基于交互的方法 ； (2)基于变换的方法以及刚刚出现的 ； (3)基于视觉特征的方法。 2.2 基于用户交互的提取方法 在理想的情况下提取 图 像 中的感兴趣区域应该以用户的评价为标准，选择用户感兴趣的区域作为 图 像 的感兴趣区域。而且用户是 图 像 的最终使用者，不同的用户有不同的背景和要求。所以最省事、最灵活的方法是把感兴趣区域的定义交图像感兴趣区域提取技术研究 4 给用户来完成。通过人机交互由用户选择 图 像 中的若干区域作为感兴趣区域。这样的方法以用户为中心，能充分发挥用户在 检索过程中的作用，准确捕获用户检索意图，有简单高效的优点。这种方法适合于
23、卫星遥感 图 像 ，医学 图 像 等内容比较单一的 图 像 库中。在一定程度上基于用户交互的感兴趣区域选取获得了成功。但是，这种方法中区域搜索和特征提取需要实时完成，所以检索速度较慢。最好的方法是能让系统自动地完成感兴趣区域的提取和索引，并有较高的速度，所以感兴趣区域的自动提取方法成为研究的重点。 2.3 基于变换的提取方法 基于变换的方法主要有： (1)基于拐点的方法 ； (2)基于灰度变化的方法。 2.3.1 基于拐点的方法 有的研究者认为，拐角点是 图 像 的 重要部分。因为拐角点能够很好的概括 图像 中物体的轮廓。 Schmid等用拐点检测器提取拐点作为感兴趣点，并应用于 图 像检索。
24、他们对不同的拐点检测器做了评价，发现用 Harris拐点检测器提取感兴趣点效果最好。 Harris拐点检测器是对 Moravec拐点检测器的一种改进。 Moravec拐点检测器是由 H.P.Moravec提出的 ， 其基本思想是通过 图 像 局部的灰度变化量来判断拐点。 Moravec采用一个方形移动窗口 W 内 图 像 灰度的变化量 WE 来衡量 图 像 的局部灰度变化： Ew (x,y) = wu,v|Ix+u,y+v - Iu,v|2 . (2 -1) 其中 I 是输入 图 像 ， W 是移动窗口 ， yx, 是窗口的移动量。 如果 图 像 某个区域的灰度几乎不变，窗口在这个区域内移动时
25、变化量 E很小。在边缘附近，如果窗口垂直于边缘移动无论哪个方向上 E都很大。 Harris和 Stephens对上述方法做了改进 。首先相对于移动量 yx, ， 对 E 做泰勒展开： 图像感兴趣区域提取技术研究 5 Ew(x,y)=vu vuw, ,222 ),( yxOyIyxIx (2 -2) Ew(x,y) =Ax2+2Cxy+By2 .(2 -3) 其中 A = wxI ,B = wyI,C = wyIxI , 是卷积算子。 然后他们用圆形的高斯窗口代替原来的方形窗口： 2/)(2, 221 vuvu ew .(2 -4) vu, 是相对于窗口中心的坐标。 这样，变化量 E 可以写成：
26、 Tw yxMyxyxE , , BC CA . ( 2-5) 对称矩阵 M 的两个特征值 , 可以反映 图 像 灰度的变化。在边缘附近，其中一个特征值较大而另一个较小。在拐点处，两个特征值都比较大。根据这两个特征值定义一个对旋转不变的响应函数： 2 kMD e tR . (2 -6) 选取 R 较大的点作为拐点。 拐点检测器最初是在形状识别问题中提出来的，当应用于自然 图 像 时拐点检测器有 一定的局限性。这是因为拐点检测器依赖于 图 像 的几何信息，根据这个特定的假设 ， 虽然可以利用 图 像 的局部几何信息 从而较好地描述 图 像 的形状特征，但也受到很大的限制。由于拐点集中在纹理区域，所以用拐点检测器提取的感兴趣点集中分布于纹理区域，而在纹理少的区域分布得很稀疏。这种疏密过于不均的分布不利于完整地描述 图 像 各部分的内容。比如在照片等自然 图 像 中，很多区域并没有规则的纹理，因此拐点检测器不能提取这些区域的信息。 2.3.2 基于灰度变化的方法 Sebe等人认为 图 像 中灰度变化大的地方是 图 像 的重要部分。拐点之所以重要是因为 在拐点处有两个边缘， 图 像 的灰度垂直于边缘的两个方向上变化都较大。在 图 像 中，除了拐点，很多平滑的边缘也表现了 图 像 的重要内容。所以，为了克
