1、 本 科 毕 业 论 文 图像感兴趣区域提取技术研究 区域生长算法 Region of Interest Extraction Research Region Grow 姓 名： 学 号： 学 院：软件学院 系：软件工程 专 业：软件工程 年 级： 指导教师： 年 月 摘要 随着数字化技术的发展，数字图像日益丰富。 为了对海量图像数据进行有效管理 ,基于内容的图像检索技术已成为一个研究热点。 基于内容的图像检索技术克服了传统数据库需要对图像手工添加文本标注的缺点，已经成为数字图书馆、搜索引擎等应用领域的核心技术。 基于内容的图像检索技术 主要根据图像的各种视觉特征进行检索，目前主要集中于低层特
2、征如颜色、纹理、形状等的相似度匹配的研究。 由于目前计算机视觉及人工智能等技术还不够完善，计算机对图像内容的理解与人对图像内 容的理解存在着巨大客观差距，这种差距造成了当前 CBIR系统中必然会存在的 “ 语义鸿沟 (Semanticgap)” 问题。在图像检索中利用图像的全局特征往往不能有效地反映用户关注的主题对象；而采用自动分割技术又很难提取出有效的目标区域，况且由于缺少高层语义知识，目前还没有基于语义级的有效的目标区域提取算法，这些不足致使我们很难提取出能准确表达用户检索意图的图像区域。此外，在图像检索中只提取图像单个特征往往不能满足各种检索需求。 感兴趣区域 (Regions of I
3、nterest)是指图像中最能引起用户兴趣、最能表现图像内容的区域 。基于感兴趣区域的图像描述和检索方法既利用了图像的局部特征，又消除了次要信息的干扰，从而更准确地概括了图像的内容。 感兴趣区域的提取的过程，实际上就是图像特征的提取过程，因此，感兴趣区域提取是现在基于内容的图像检索法的重点同时也是难点。 关键词 ： ROI； 显著度图 ； 区域生长 ； Abstract With the development of digital technology, digital imaging is becoming much more abundant. To effectively manage
4、 the image data, content-based image retrieval technology (Content-Based Image Retrieval, referred to CBIR) has become a research hotspot. Content-based image retrieval techniques have overcome the shortcoming of manually add a text label in traditional image databases , besides, it has become the c
5、ore technology of some fields, such as the digital library, search engines and other applications. CBIR realizes the retrieval primarily based on various visual features of image, and current research focus on low-level characteristics such as color, texture, shape, similarity matching. As the compu
6、ter vision and artificial intelligence technology is not perfect, there is a huge gap in the understanding image content between the computer and the human, which canuse “semantic gap (Semanticgap ) “ existed in current CBIR systems. Using global features in image retrieval, images often can not eff
7、ectively reflect the theme of the object concerned; and the use of automatic segmentation technology is difficult to extract an effective target area. Moreover, due to the lack of high-level semantic knowledge, there is no effective target region extracting algorithm based on the semantic level . A
8、result of these deficiencies, it is difficult to extract exact region users search for accurately which express users intention. In addition, extracting only a single feature of the image are often unable to meet the needs various search in image retrieval. ROI (Regions of Interest) is the region of
9、 the image that catch users interest and best express the image content. Region of interest based on the image description and retrieval method using the image of the local features, but also eliminates the interference of secondary information, so as to more accurately summarize the content of the
10、image. Key words: ROI; Significant degree map; Region Grow;目录 第一章 绪论 . 1 1.1 图像检索的现状 . 1 1.2 本文的主要工作 . 2 第二章 基于内容的图像检索技术 . 3 2.1 感兴区域提取 . 3 2.1.1 基于用户交互的提取方法 . 4 2.1.2 基于变换的提取方法 . 5 2.1.3 基于视觉注意的提取方法 . 8 2.1.4 根据显著度图提取感兴趣区域 . 10 2.2 基于内容的图像检索 . 17 2.2.1 基于颜色特征的图像检索 . 17 2.2.2 基于形状特征的图像检索 . 18 2.2.3
11、基于纹理特征的图像检索 . 18 第三章 算法描述 . 20 3.1 算法 步骤 . 20 3.2 图像边缘处理 . 20 3.3 区域生长算法 . 23 3.3.1 种子点选取 . 24 3.3.2 域值选取 . 25 3.3.3 感兴趣物体的区域生长 . 26 3.3.4 颜色直方图 . 27 3.3.5 后处理 . 28 第四章 总结 . 30 参考文献 . 31 致谢 . 32 Contents Chapter1 Introduction. 1 1.1 The current situation of image retrieval . 1 1.2 The main work of t
12、his paper . 2 Chapter2 content-based image retrieval . 3 2.1 The method of extracting ROI . 3 2.1.1 The extraction based on user interaction. 4 2.1.2 Transform-based . 5 2.1.3 Based on visual attention . 8 2.1.4 According to a significant degree map . 10 2.2 CBIR . 17 2.2.1 Based on Color Features .
13、 17 2.2.2 Based on Shape Features . 18 2.2.3 Based on Texture Features . 18 Chapter3 Algorithm Description . 20 3.1 Algorithm steps. 20 3.2 Image edge processing . 20 3.3 Region Grow . 23 3.3.1 The selection of seed points . 24 3.3.2 Domain selection. 25 3.3.3 Region grow of the region of interest .
14、 26 3.3.4 Color Hisogram. 27 3.3.4 Dealing with the aftermath. 28 Chapter4 Summary . 30 References . 31 Acknowledgement . 32 基于用户感兴趣区域的图像检索 1 第一章 绪论 1.1 图像检索的现状 近年来，随着多媒体技术和计算机网络的飞速发展，全世界的数字图像的容量正以惊人的速度增长。无论是军用还是民用设备，每天都会产生容量相当于数千兆字节的图像。这些数字图像中包含了大量有用的信息。然而，由于这些图像是无序地分布在世界各地，图像中包含的信息无法被有效地访问和利用。这就要求
15、有一种能够快速而且准确地查找访问图像的技术，也就是所谓的图像检索技术。自从 20 世纪 70 年代以来，在数据库系统和计算机视觉两大研究领域的共同推动下，图像检索技术已逐渐成为一个非常活跃的研究领域。数 据库和计算机视觉两大领域是从不同的角度来研究图像检索技术的，前者基于文本的，而后者是基于视觉的。 基于文本的图像检索技术（ text-based image retrieval）的历史可以追溯到 20 世纪 70年代末期。当时流行的图像检索系统是将图像作为数据库中存储的一个对象，用关键字或自由文本对其进行描述。查询操作是基于该图像的文本描述进行精确匹配或概率匹配，有些系统的检索模型还是有词典支
16、持的。另外，图像数据模型、多维索引、查询评价等技术都在这样一个框架之下发展起来。然而，完全基于文本的图像检索技术存在着严重的 问题。首先，目前的计算机视觉和人工智能技术都无法自动对图像进行标注，而必须依赖于人工对图像做出标注。这项工作不但费时费力，而且手工的标注往往是不准确或不完整的，还不可避免地带有主观偏差。也就是说，不同的人对同一幅图像有不同的理解方法，这种主观理解的差异将导致图像检索中的失配错误。此外，图像中所包含的丰富的视觉特征（颜色或纹理等）往往无法用文本进行客观地描述的。 90 年代初期，随着大规模数字图像库的出现，上述的问题变得越来越尖锐。为克服这些问题，基于内容的图像检索技术（
17、 content-based image retrieval）应运而生。区别于原有系统中对图像进行人工标注的做法，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。此后几年中，这个研究领域中的许多技术发展起来，一大批研究性的或商用的图像检索系统被建立起来。 应该认识到，基于内容的图像检索系统具有与传统基于文本的检索系统完全基于用户感兴趣区域的图像检索 2 不同的构架。首先，由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图像视觉特征的相似度进行。用户通过选择具有代表性的一幅或多幅例子图像来构造查询，然后由系统查找与例子图像在视觉内容上比较相似的 图像，按相
18、似度大小排列返回给用户。这就是所谓的通过例子图像的检索（ query by image example）。另外，基于内容的检索系统一般通过可视化界面和用户进行频繁的交互，以便于用户能够方便地构造查询、评估检索结果和改进检索结果。 1.2 本文的主要工作 本文的工作主要分为两个部分： 1. 介绍基于内容的图像检索技术的发展状况，并描述几种主要的图像检索算法。 2. 讨论研究感兴趣区域的提取技术和算法，并实现感兴趣区域的初步提取。 基于用户感兴趣区域的图像检索 3 第二章 基于内容的图像检索技术 茹芳，冀小平 在文献 1中将 基于内容图像检索的 体系结构划分为特征提取和查询两个子系统 ，见下图 :
19、 图 2-1 体系结构图 基于内容的图像检索方法主要分为两大类：基于全局特征的方法和基于区域的方法。 基于全局特征的方法用全局直方图、颜色矩等全局特征表示和检索图像。这种方法的优点是计算简单，对平移和旋转不敏感。但是全局特征无法描述图像内容在空间上的差异。所以基于全局特征的方法只能比较图像全局的统计相似性，不能在物体层次比较图像的相似性，检索效率不高。 图像的不同区域所含的信息量是不同的，因此它们的重要程度也不同。为了考虑区域在重要程度上的差别，近年来一些研 究者提出了基于感兴趣区域的图像检索方法。感兴趣区域 (Regions of Interest)是指图像中最能引起用户兴趣、最能表现图像内
20、容的区域 。基于感兴趣区域的图像描述和检索方法既利用了图像的局部特征，又消除了次要信息的干扰，从而更准确地概括了图像的内容。 2.1 感兴区域提取 感兴趣区域是图象中最能引起用户兴趣、最能表现图象内容的区域。区域是基于用户感兴趣区域的图像检索 4 图象底层物理特征与高层语义特征之间的中层描述。它在低层特征的基础上对图象进行更深一步的处理；在分割的区域层次上再进行分析和理解就有可能获取图象的某些语义特征。区域分割方 法是最常采用的提取区域的方法，在一定程度上描述了图象的语义特征，但是区域分割只是一个集合划分过程，它不能有效地减少图象的冗余信息。感兴趣区域是图象的部分区域，并不构成一个划分。但是感
21、兴趣区域是图象中最能体现内容的部分，含有的信息量大，所以用这些区域足以描述图象的内容。基于感兴趣区域的图象表示方法是用部分概括整体，减少了冗余信息。更重要的是，它区分了图象各部分的重要程度，突出了图象的主要内容，从而消除了次要内容带来的干扰。同时，基于感兴趣区域的图象内容表示方法回避了图象的精确分割的困难。 基于感兴趣区域的图象 检索技术是一种新兴的有效的图象检索技术，它很好地体现了图象的语义特征；基于感兴趣区域的图象检索技术分为如下几步： (1) 感兴趣区域的检测与提取， (2) 感兴趣区域的特征描述， (3) 图象间相似度计算。 其中，感兴趣区域的检测与提取是核心问题。 感兴趣区域的提取是
22、基于用户感兴趣区域的图象检索技术的一个核心内容，根据感兴趣区域的提取方法不同，现有的基于感兴趣区域的检索方法分为三大；a) 基于交互的方法， b) 基于变换的方法以及刚刚出现的， c) 基于视觉特征的方法。 2.1.1 基于用户交互的提取方法 在理想的情 况下提取图象中的感兴趣区域应该以用户的评价为标准，选择用户感兴趣的区域作为图象的感兴趣区域。而且用户是图象的最终使用者，不同的用户有不同的背景和要求，所以最省事，最灵活的方法是把感兴趣区域的定义交给用户来完成。通过人机交互由用户选择图象中的若干区域作为感兴趣区域。这样的方法以用户为中心，能充分发挥用户在检索过程中的作用，准确捕获用户检索意图，
23、有简单高效的优点。这种方法适合于卫星遥感图象，医学图象等内容比较单一的图象库中。在一定程度上基于用户交互的感兴趣区域选取获得了成功。 但是，这种方法中，区域搜索和特征提 取需要实时完成，所以检索速度较慢。最好的方法是能让系统自动地完成感兴趣区域的提取和索引，并有较高的速度，所基于用户感兴趣区域的图像检索 5 以感兴趣区域的自动提取方法成为研究的重点。 2.1.2基于变换的提取方法 基于变换的方法主要有 a) 基于拐点的方法， b) 基于灰度变化的方法。 2.1.2.1基于拐点的方法 有的研究者 (如 Friedrich) 认为 ,拐角点 (corner) 是图象的重要部分。因为拐角点能够很好的
24、概括图象中物体的轮廓。 Schmid 等用拐点检测器提取拐点作为感兴趣点，并应用于图象检索。他们对不同的拐点检测器做了评价，发 现用 Harris 拐点检测器提取感兴趣点效果最好。 Harris 拐点检测器是对 Moravec 拐点检测器的一种改进。 Moravec 拐点检测器是由 H.P.Moravec提出的， 其基本思想是通过图象局部的灰度变化量来判断拐点。 Moravec 采用一个方形移动窗口 W内图象灰度的变化量 Ew 来衡量图象的局部灰度变化： Ew (x,y) = wu,v|Ix+u,y+v - Iu,v|2 . (2 -1)其中， I 是输入图象， W是移动窗口， x， y是窗口的移动量。 如果图象某个区域 的灰度几乎不变，窗口在这个区域内移动时变化量 E很小。在边缘附近，如果窗口垂直于边缘移动，无论哪个方向上 E都很大。 Harris 和 Stephens 对上述方法做了改进。首先相对于移动量 x， y对 E做泰勒展开： Ew(x,y)=vu vuw, ,222 ),( yxOyIyxIx (2 -2) Ew(x,y) =Ax2+2Cxy+By2 .(2 -3) 其中 A = wxI ,B = wyI,C = wyIxI , 是卷积算子。 然后他们用圆形的高斯窗口代替原来的方形窗口：
