1、厦门大学软件学院本科毕业设计 I 本科毕业论文 (毕业设计 ) 题 目： 基于内容的图像检索 姓 名： 学 院：软件学院 系： 专 业：软件工程 年 级： 学 号： 指导教师（校内）： 职称： 年 月 日厦门大学软件学院本科毕业设计 I 摘 要 基于内容的图像检索 (CBIR)是多媒体检索研究的前沿课题 。 利用颜色特征作为索引进行图像检索是最重要的技术 。 本文以基于颜色特征的图像检索实例系统为基础，研究 RGB 与 HSI 颜色空间内，全局直方图，累积直方图，局部累加直方图对图像的描述。以之为特征 ，再引入欧氏距离的相似性度量方法实现基于内容的图像检索。根据实验结果比较，总结颜色空间、特征
2、描述方法对检索系统性能的影响，从而得出不同算法所适合的应用范围。 本文 第一章介绍了本课题的研究背景和问题概要解决方案。第二章通过对基于颜色特征的图像检索技术的深入分析，得出实例系统使用的核心方法论，包括 RGB 与 HSI 空间的转换，三种直方图实现公式，和欧式距离计算方法等。第三章基于 VC+ .net 技术，阐述了图像检索系统实现的设计思路与执行方法，重点介绍之前提出的核心方法论在系统中的实现算法。第四章对不同算法条件 下的实验数据进行分析比较，总结不同颜色空间或特征描述方法对检索系统效率的影响。第五章分析设计工作中的问题，提出在进一步的工作中，结合 web 搜索的相关技术，进行了相关讨
3、论。 关键词： 基于内容的图像检索，颜色特征，直方图，相似度 厦门大学软件学院本科毕业设计 II ABSTRACT Content-based image retrieval (CBIR) is an advanced project in the recent research area of multimedia retrieval. Indexing by color features is the important technology of image retrieval. This dissertation is chiefly contributed to the CBIR s
4、tudy of color specification. Based on practical system experiment, under RGB and HSI color space, we do research on the efficiency of global color histogram, global accumulated color histogram, and partial accumulated color histogram, which describes the distribution of colors in each image. By this
5、 means, color histogram dissimilarity is brought in to achieve high efficiency in color histogram query process. Thus, a research background and essential solutions is introduced in this topic. Then by further analysis on color-based image retrieval, we make out the key methodology, including: the t
6、ransfer of RGB and HSI space, formulas to three kinds of color histogram and similarity distance solutions, to fulfill in instance system. Thirdly, from the view of VC+.net development, we put emphasis on how those key methodology is carried out. In Chapter 4 we make analysis from results of system
7、experiment, and summarize the influences by different means. Finally, vision work is put forward. Key Words: CBIR, color specification, color histogram, similarity distance 厦门大学软件学院本科毕业设计 III 目 录 摘 要 . I ABSTRACT . II 第一章 引言 . 1 1.1 基于内容的图像检索的研究背景 . 1 1.2 图像检索的关键技术 . 2 1.3 国内外典型系统概况 . 4 1.4 本文的研究内容
8、. 5 第二章 基于颜色特征的图像检索 . 6 2.1 颜色模型 . 6 2.1.1 RGB 模型 . 6 2.1.2 HSI 模型 . 7 2.2 颜色特征的提取与表达 . 9 2.2.1 全局直方图 . 9 2.2.2 累积直方图 . 10 2.2.3 局部累加直方图 . 10 2.3 颜色特征的相似性度量 . 11 第三章 图像检索系统的设计 . 14 3.1 系统总体构架 . 14 3.2 颜色空间内特征提取 . 16 3.3 特征匹配过程 . 20 3.4 附 RGB 和 HIS 直方图显示方法 . 20 第四章 实现结果 . 24 4.1 样本集的分析 . 24 4.2 颜色空间的
9、比较 . 25 4.3 特征表达方法的比较 . 26 第五章 结束语 . 28 5.1 论文工作总 结 . 28 5.2 基于内容的图像检索技术展望 . 29 致 谢 . 30 参考文献（ REFERENCES） . 31 厦门大学软件学院本科毕业设计 IV Contents 摘 要 . I ABSTRACT . II Chapter 1 INTRODUCTION . 1 1.1 The Background of CBIR Research . 1 1.2 The Pivotal Technology of CBIR . 2 1.3 General Situation of Domestic
10、 and Abroad Representative System . 4 1.4 Research Content . 5 Chapter 2 Color featrue Based Image Retrieval . 6 2.1 Color Model. 6 2.1.1 RGB Model . 6 2.1.2 HIS Model. 7 2.2 Abstract and Expression for Color feature . 9 2.2.1 Global Histogram . 9 2.2.2 Cumulate Histogram . 10 2.2.3 Part Accumulate
11、Histogram . 10 2.3 Similarity Measurement of Color feature 颜色特征的相似性度量 . 11 Chapter 3 The design of CBIR. 14 3.1 Overall Framework. 14 3.2 Abstract feature in Color Space . 16 3.3 Feature Matching . 20 3.4 The Display for RGB and HIS Histogram. 20 Chapter 4 Result and Enablement . 24 4.1 analysis of
12、Sample Set . 24 4.2 Comparison of Color Space. 25 4.3 Comparison of Feature Expression . 26 Chapter 5 The End. 28 5.1 Summation. 28 5.2 Expectation of CBIR . 29 Thanks. 30 References . 31厦门大学软件学院本科毕业设计 1 第一章 引言 1.1 基于内容的图像检索 的研究背景 图像检索自 70 年代来一 直是个非常活跃的研究方向。早期的图像检索是基于图像关键字的检索 (TBIR)。 该方法需要人工对每幅图像按其内
13、容进行标注，然后将标注信息存到文本数据库中用于后来的检索。显然，随着图像的增多，人工标注非常困难，而且，每个人对图像内容的理解不同会造成标注的主观性过强，不利于用户检索。 同 时 ， 图像的某些可视信息 ， 例如 ：纹理 ， 形状等 ， 很难用文本 准确描述 。 20 世纪 90 年代以后，图像检索 的 研究重点是基于图像内容的检索(CBIR)。 CBIR 指的是在 图像 数据库中找出满足某一特定的视觉特征描述的图像的过程。它的基本思想是通过分析图像的视觉特征和上下文联系来进行检索。 下图为基于内容的图像检索一些主要研究技术罗列： 体系结构 支持基于内容检索 基 图像数据库的结构 框架结构 全
14、局颜色特征索引 于 颜色特征索引 局部颜色特征索引 内 容 形状特征索引 形状轮廓特征索引 的 支持基于内容的图 形状区域特征索引 图 像检索的索引技术 像 纹理特征索引 纹理结构特征索引 检 纹理统计特征索引 索 主 空间特征索引 2D - S t ri ng 及其变种的索引 要 空间对象点集拓扑关系 研 几何度量方法 究 图像内容的相似度量方法 技 基于集合理论的度量方法 术 图像多特征的相关反馈 基于内容的图像检索效果评判 厦门大学软件学院本科毕业设计 2 图 1-1 基于内容的图像检索主要研究技术 CBIR 的研究目标是在没有人类参与的情况下能自动识别或理解图像重要特征。其中，图像内容
15、是通过图像的特征来反映的，可以将图像的特征分为两大类，即底层 物理特征 (如颜色、纹理、形状、轮廓、图像内容的空间、时间关系等 )和高层语义特征 (是人们对图像内容概念级的反映，一般是对图像内容的文字性描述 )。 CBIR突破了传统的基于关键字的表达式检索的局限，直接对图像内容进行分析和特征提取，利用这些描述图像内容的特征建立索引。 目前，基于内容的多媒体信息检索的主要工作集中在识别和描述图像的颜色、纹理、形状、空间关系上，对于视频数据，还有视频分割、关键帧提取、场景变换探测等问题。由此可见，这是一门涉及面很广的交叉学科，需要利用图像处理、模式识别、计算机视觉、图像理解等领域的 知识作为基础，
16、还需从认知科学、图像处理、数据库管理系统、人机交互、信息检索等领域引入新的媒体数据表示和数据模型，从而设计出可靠有效的检索算法、系统结构以及友好的人机界面。 CBIR 的特点主要有： 基于内容的图像检索是一种近似匹配，即按照某种相似性度量，比较图像特征间的相似度。相似度较高的图像将作为检索结果返回给用户。 特征提取和匹配可由计算机自动完成。 为了提高检索的准确性，整个过程是个逐步逼近和相关反馈的过程。用户的交互性增强了表达查询、评价查询结果和基于评价结果进行进一步检索的能力。 1.2 图像检索的关 键技术 目前，对于通用的静止图像检索，用于检索的特征主要有颜色（ Color）、纹理（ Text
17、ure）、形状（ Shape）等，其中颜色、纹理、形状应用尤为普遍；厦门大学软件学院本科毕业设计 3 活动 视频检索脱胎于序列图像分析中的技术。本文主要研究对静止图像检索。 对于目标图像和检索图像进行颜色空间转换、亮度图像的边缘提取和二值分割、提取目标区域的颜色特征。颜色内容包含两个一般的概念，一个对应于全局颜色分布，一个对应于局部颜色信息。按照全局颜色分布来索引图像可以通过计算每种颜色的像素的个数并构造颜色灰度直方图来实现，这对检索具有相似的总体颜色 内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域，它考虑了颜色的分类与一些初级的几何特征。比如Smith 等提出了颜色集合 (c
18、olor set)方法来抽取空间局部颜色信息并提供颜色区域的有效索引 1。 运用颜色直方图进行检索有如下三种方式： （ 1）指明颜色组成 ： 该法需要用户对图像中的颜色非常敏感，而且使用起来也不方便，检索的查准率和查全率并不高，因此暂时不做进一步开发。 （ 2）指明一幅示例图像 ： 通过与用户确定的图像的颜色直方图的相似性匹配得到查询结果，这是该课题研究方法的根本。 （ 3）指明图 像中一个子图 ： 分割图像为各个小块，然后利用选择小块来确定图像中感兴趣的对象的轮廓，通过建立更复杂的颜色关系（如颜色对方法）来查询图像，该方法是进一步优化检索的一个设想。 在颜色空间选取方面，最常用的颜色空间是
19、RGB 颜色空间。通常，人们采用欧氏距离来刻画两种颜色之间的差异， RGB 空间存在的一个严重问题是其中所计算出来的两种颜色之间的距离无法正确表征人们实际所感知到的这两种颜色之间的真实差异。 HSI 空间比较直观并且符合人的视觉特性。 HSI 颜色模型有两个重要的特点作为基础。首先， I 分量与彩色信息无关，其次 H 和 S 分量与人感受彩色的方式紧密相连，其中 H 分量尤其影响人类的视觉判断。这些特点使得HSI 模型非常适合基于人视觉系统对彩色感知特性的图像处理。 厦门大学软件学院本科毕业设计 4 得到图像特征的统计直方图后，不同图像间的特征匹配可借助计算直方图间的 相似性 距离来进行。一般
20、意义上直方图匹配方法有直方图相交法，直方图匹配法，欧氏距离法，中心矩法，累积直方图匹配法共 6 种。本文重点讨论欧氏距离法，并将其作为系统编程实现的主要方法。 所以，颜色特征的图像检索关键技术路径如 下图 ： 图 1-2 颜色特征的图像检索关键技术路径 1.3 国内外典型系统概况 目前已有许多通用目的的图像搜索引擎，例如，在商用领域， IBM 首先研制出了 QBIC 系统；在学术研究领域， MIT 的 Photobook 系统，新加坡国立大学的 CORE 系统，美国哥伦比亚大学的 VisualSEEK 系统，加利福尼亚大学 Santa Barbara分校的 Netra， 伊利诺依大学的 MAR
21、S， CMU的 Infomedia以及哥伦比亚大学的 VideoQ 等。 下文就其中几个作简要介绍： 1 QBIC 系统 IBM Almaden 研究中心研究开发的，是基 于内容检索系统的典型代表 QBIC 系统允许使用例子图像、用户构建的草图和图画、选择的颜色和纹理模式、镜头和目标运动和其他图形信息等，对大型图像和视频数据库进行查询。 2 Photobook 系统 MIT 的媒体实验室在 1994 年开发研制的。图像在装入时按人脸、形状或纹理特性自动分类，图像根据类别通过显著语义特征压缩编码。 3 CORE 系统 新加坡国立大学开发的一个基于内容的检索机。其显著技术特色包括 : 多种特征提取
22、方法、多种基于内容检索方法、使用自组织神经网络对复杂特颜色空间 相似度量 特征表达 厦门大学软件学院本科毕业设计 5 征度量、建立基于内容索引的新方法以及 对多媒体信息进行模糊检索的新技术。 4 VisualSEEK 系统 美国哥伦比亚大学图像和高级电视实验室开发的。它实现了互联网上的 “基于内容 “的图像 /视频检索系统，提供了一套工具供人们在 Web 上搜索和检索图像和视频 234 (a)基于颜色直方图的检索 (b)基于主颜色块的检索 B 图 1-3 J.R Smith 的 webseek 系统 1.4 本文的 研究内容 从图 1-2 的技术路径分析，结合设计要求，我们需要对要素工作具体化，目的是使系统试验简单高效而 又 不失代表性。 颜色空间选取 面向硬 件的 RGB 空间和面向视觉的 HSI 空间 颜色特征的表达 全局直方图，全局累加直方图，局部累加直方图 相似性度量 欧氏距离计算方法 这些要素分析将在第二章中做详细阐述。
