1、 1 毕业设计文献综述 计算机科学与技术 基于内容的图像检索系统的设计与实现 一、前言部分 随着多媒体技术和 Internet 网络的迅速的发展 ,数字图像的容量正以惊人的速度增长 .无论是军用还是民用 ,无论是静态的还是动态的 ,每天都会产生海量的图像信息 .近年来大规模图像库的出现 ,管理、组织和利用图像成为一项亟待解决的技术难题 .于是图像检索技术这种能够快速而且准确查找访问图像的技术应运而生 . 基于内容的图像检索 (Content-Based Image Retrieval,简写为 CBIR)1是 20 世纪 90年代兴起的新技 术 ,其实质是图像特征相似性匹配检索 .因其直观 (示
2、例描述 )、高效 (相似性匹配检索 )、通用 (与领域知识无关 )等特点 2,3,近年来在国际国内均是一个热门研究课题 . 二、主题部分 2.1 图像检索技术的产生和发展 2.1.1 图像检索技术发展到现在大致经历了两个阶段基于 :文本的检索和基于内容的检索 .早期的图像检索是基于文本注释的 (Text Based Image Retrieval),该方法的实质是把图像检索转换为与该图像对应的文本检索 . 基于内容的图像检索即 CBIR),即对图像的视觉内容 ,如图像的颜色、纹理、形状等进行分析和检 索 4,5. 2.1.2 基于内容的图像检索系统的体系结构如图 1所示 图 1. 图像检索体系
3、结构图 2 2.2 基于内容的图像检索 2.2.1 图像内容特征和表达 基于图像内容的检索技术主要依据图像的颜色、纹理、形状特征以及图像中子图像 (对象 )的特征进行检索 .常见的检索内容主要包括 : (1)颜色 :图像颜色分布、相互关系、组成等 :(2)纹理 :图 像的纹理结构、方向、组合及对称关系等 :(3)形状 :图像轮廓组成、形状、大小等 :(4)对象 :图像中子对象的关系、数量、属性、旋转等 . (一 ) 颜色 颜色是图像检索中最先被采用的特征 ,通常采用 RGB 三色表示 .为使表示法更符合人眼视觉特性 ,比较时一般要把 RGB 空间转换成其他颜色空间 .Munsell,H IS,
4、HSV,HSB 都是面向视觉感知的颜色模型 .颜色特征的表达主要有统计直方图、累积直方图和颜色布局 3种 6,7,8.其中 ,MPEG-7 在统计直方图中推荐了可伸缩颜色和帧组 /图组颜色两种描述符 ,在颜色布局中推荐了颜色布局 描述符 .简单直方图匹配算法主要有颜色直方图、颜色一致性矢量、颜色有关图、颜色矩等 .颜色直方图的比较是最基本的方法 ,但缺乏图像的空间信息 :颜色一致性矢量方法不仅统计了整幅图像中各颜色的像素值 ,还统计了图像中各颜色最大区域的像素值 ,效果较好 ,但它并没有强调各颜色最大区域的形状以及与背景的关系 :颜色有关图法强调同一颜色在图像中的空间距离有关性 ,其检索效果比
5、上述几个方法都要好 ,但计算量比较大；颜色矩算法主要是采用图像中各颜色的均值和方差做比较 ,处理简单 ,可作为图像检索的初检 ,为下一步的细检缩小搜索范围 .颜色特征在图 像检索中占有重要位置 ,但其固有的光照敏感性也限制了其使用范围 . (二 ) 纹理 纹理是图像的又一重要特征 ,虽然尚无精确的定义 ,但却受到广泛研究 !一般认为纹理就是纹理元素有规律的排列组合 ,而把具有重复性、形状简单、强度一致的区域看作纹理元素 .视觉纹理特性主要有 :粗糙度、对比度、方向度、线象度、规整度、粗略度等 9,10,11,12,MPEG 7中推荐了 3 种纹理描述符 ,分别是边缘直方图、同质描述符和纹理浏览
6、描述符。纹理描述的难点就在于它与物体的形状间存在密切的关系 ,干变万化的物体形状与嵌套式分布使纹理的分类变得十分困难 .纹理特征对模式识别和计算机视觉等领域都具有重要的意义。 7O年代初期 ,Haralick 等人提出了纹理特征的共生矩阵 (cooccurrencematrix)表示 ,从数学角度研究了图像纹理中灰度级的空间依赖关系。 Tamura等人从纹理的视觉感知心理学角度 ,提出了纹理特征的表达 ,表示的所有纹理性质都具有直观的视觉意义 .近 2O 年中 ,有大量的研究集中在应用随机场模型表达纹理特征 ,Markov 随机场 (MRF)模型取得了很大成功 ,其典型的应用是自回归纹理模型
7、(simultaneous autod reeressife,或 SAR),还有一种常用的纹理分析和3 分类方法是小波变换 (wafelet transform),小波变换表示的纹理特征 ,可以用每个波段的每个分解层次上能量分布的均值和标准方差。 Gabor 过滤法能够最大程度地减少空间和频率的不确定性 ,同时还能够检测出国像中不同方向和角度的边缘和线条 由于纹理描述比较困难 ,一般对纹理的检索都采用示例查询 (query By hiample)方式 .用户给出示例的全部或部分区域特征 ,从而找到类似图像 . (三 ) 形状 形状是物体的一个重要特征 .但由于物体形状的自动获取有一定难度 ,基
8、于形状的检索一般 仅限于非常容易识别的物体 形状可用面积、离心率、圆形度、形状矩、曲率、分形维等全局和局部特征来表示 13,14。一般来说 ,形状特征有两种表示方法 ,一种是轮廓特征 ,一种是区域特征 .前者使用物体的外边界 ,而后者使用整个形状区域 这两类形状特征的最典型方法是傅立叶形状描述符 (Fourier shape descriptors)和形状无关矩 (MomentInfariants).主要分析方法有不变矩、傅立叶描述符、向心链码等 ,前两种方法是最成功的表示法 .其中 不变距法利用了不变距的位移、旋转和缩放不变性 :傅立叶描述 符法是用物体边界的傅立叶变换作为其形状描述 :向心
9、链码的方法首先采用向心链码对形状进行编码 ,再在编码码流中直接提取形状的“相对凸数及 ” 凸度 ” 以此作为形状检索的依据。 (四 ) 空间关系 空间关系特征是比颜色或纹理要高层一些的特征 ,是图像中各对象的基本关系之。利用图像中对象的空间关系来区别图像 ,符合人们识别图像的习惯 ,直角坐标系是其最直接的表示法。空间关系主要包括拓扑、方向、度量三大类关系 .空间关系特征可以分为两类 ,一类方法首先对图像进行自动分割 ,划分出其中所含的对象或颜色区域 ,然后根据这些区域对图像索引 ,主要包括二 维符号串、空间四叉树和符号图像 :另一类方法则简单地将图像均匀划分若干子块 ,对每个图像子块提取特征建
10、立索引 .在检索中 ,首先根据特征计算图像的相应子块之间的相似度 ,然后通过加权计算总的相似性 .这类方法从概念上来说非常简单 ,但这种普遍规则的分块并不能精确的给出局部色彩的信息 ,且计算和存储的代价都比较昂贵 ,因此 ,在实际中应用较少 ,从而给基于对象空间关系的图像检索带来了困难。 2.2.2 检索性能评价 由于检索算法的多样性 ,需要对各种算法的检索结果进行评判 ,以比较其优劣 .检索的评价方法能够在相同的条件下找出最佳算法 ,能更 好地改进和提高检索方法 .现阶段对检索效果的评价主要使用查准率和查全率两个指标 ,查全率和查准率越高 ,说明该检索算法的效果越好 . 查全率 =所有有关联
11、的结果有关联的正确检索结果4 查准率 = 结果所有检索联的正确检索 有关联的正确检索结果由于这两个指标达不到评价系统性能的要求 ,故目前又有研究者提出了有效性、检索效率、检索率、匹配百分数等概念 .但由于人对图像内容认知上的主观性 ,使得在定义一个客观的评价标准上存在很大困难 . 2.3 提供的服务和涉及的技术领域 媒体信息获取手段简单 ,信息量庞大 ,这些媒体信息中的图像蕴含 着很多有用信息 ,致使图像信息的利用越来越受到各行业的重视 ,基于内容的图像检索系统随之产生并应用于各领域 .基于内容的图像检索系统根据提供的服务主要可以分为三种 : (一 ) 基于用户兴趣的图像检索 这类系统的主要功
12、能是在大量图像集中为用户寻找到感兴趣的图像 ,其检索并没有特定而具体的目标 .检索的依据是图像与用户兴趣的相关度 ,这通常意味着检索的过程是一个逐步求精的过程 ,这类系统通常具有高度的交互性 ,如社区图片的检索 . (二 ) 寻找特定图像 这类检索通过用户指定具体的图像来寻找特定图像 ,或寻找和用户想象中的图像一样对象的图像；还可以寻 找和用户想象中的图像具有内在关联的特定图像 ,这系统一般适合于查找商标 ,艺术品 ,工业部件、室内装饰等 . (三 )特定类别的图像检索 这类系统是完成能够代表一个特定类别的任意一幅图像的查询 ,检索是通过用户提供一幅样例图像查找同属一类的其它图像 .其适用于商
13、标分类、电子商务平台信息检索等 . 目前基于内容的图像检索技术涉及的主要领域包括 : 1防止犯罪 随着科技的发展 ,现代化的技术应用于防止犯罪体系中 ,通过人的主要特征 ,如指纹和脸部信息等建立数据库 ,利用基于内容的图像检索技术 ,相关部门可以快速地进行定位找到用信息 ,为案 件的侦破工作带来便利 . 2军事 现代化的军事不再局限于枪杆大炮的对抗中 ,利用卫星等科技手段获取敌方各类图像信息 ,通过图像检索技术对新式武器、敌方地形地貌等进行快速定位 ,获取第一手资料 ,为战略部署提供参考依据 . 3外观设计专利权保护 现在人们的产权保护意识日益加强 ,但如何有效地对外观设计专利进行保护是此领域
14、图像检索技术应用的依据 .由于外形、颜色、图案是外观设计专利的三大要素 ,它的格式没有统5 一的规范 ,其数据更加复杂 ,基于内容的图像检索技术的利用可以有效地辅助进行外观设计专利权的保护 .如 ,QBIC 和 Virage 检索系统已经采用了商标数据库 ,另外日本东京大学电子实验室的 Trademark系统 ,新加坡大学的 STAR系统 ,英国 Northumbria大学的 ARTISAN系统也已有了相应的商标数据库 .其中 STAR和 ART工 SAN 系统都已经应用到国家专利局 . 4建筑工程及室内装潢设计 当民众生活水平不断提高时 ,考虑的是生活空间的雅致与舒适 ,这就推动了建筑及室内
15、装潢设计行业 ,设计师们希望能利用已有的设计作为相似风格要求设计方案的参考资料 ,以便高效地完成用户所要求的设计方案 .这就需要通过基于内容的图像检索技术来帮助用户在风格 设计图片库中快捷、方便、准确地找到所需图像 . 5医学领域 在医学领域 ,存在着大量的各类型病理分析使用的图像 ,这些图像对医学研究、病情分析提供参考 .由于此类图像的特殊性 ,致使其很难用文字来描述清楚 ,这给医学研究带来检索上的困难 ,基于内容的图像检索技术则利用图像本身的视觉特征进行检索 ,克服了文字描述的弊端 . 6电子商务 据统计 ,目前淘宝网用户已超过 8000 万 ,在线商品数量达到两亿件 ,据预测在未来的几年
16、里用户数及在线商品数将继续增长 .在这种发展趋势下 ,作为商品交易平台的系统能否满足用户需求 ,为用户提供更好更快 捷的服务便成为有待解决的技术问题 ,而其中关键的就是怎样在数亿件商品中快速找到自己需要的商品 .传统的检索由于主观描述的差异并不能达到用户检索的要求 ,通过商品信息搜索常常会“题不对物” .基于内容的图像检索技术便显现出了优势 .它为电子商务网站提供了一种全新的检索方式 ,更好地满足客户的检索需求 . 7数字图书馆 网络带来了一场信息革命 ,也一定程度地改变了人们依靠大量纸质资料进行信息获取的单一方式 ,数字图书馆产生了 ,它所包含的数字化信息除文本文献信息外 ,还包括大量的图形
17、、图像以及声音、视频、动画等媒体信息 .由于这些内 容具有丰富的信息内涵 ,无法准确地使用文字来表达其实质内容和语义关系 ,因此 ,在数字图书馆中信息检索技术己由单纯基于文本的检索方式向基于内容的检索方式发展 . 8其它 除以上主要应用领域外 ,基于内容的图像检索技术还被应用于水利、地理信息系统和遥感系统、考古及动植物研究、教育和家庭娱乐等 .随着基于内容图像检索技术的发展 ,其应用将不断扩展到更多领域 ,其相应系统必将日益完善并走向商业化 ,为人们的研究、生活带来更多的方便 . 6 三、总结部分 基于内容的图像检索技术目前仍处于初级研究探索阶段 .虽然根据图像低层次特征如 颜色 、纹理、形状
18、等的检索有了一定的进展 ,但仍然局限于特定的应用领域 ,性能有待进一步改善 .根据高层次特征 ,如时间、地点等以及集成性的检索仍有相当大的难度 .今后研究重点是进一步改善基于图像低层次特征检索的性能 ,进行基于图像的高层次特征内容的提取与检索研究 ,以及互联网络上的基于内容的图像检索技术及其应用 .基于本文的工作 ,后续还有如下一些问题值得探讨和研究 : (一 ) “语义鸿沟”问题 .也就是低层的视觉特征与高层的图像语义之间的缺口 .这一问题 的根源在于这样一个事实 ,即 :视觉相似性度量如颜色直方图等 ,总的来说未必与图像在人 类主 观定义上的语义相匹配 .更为糟糕的是 ,对同一幅图像 ,不
19、同的人们往往有不同的语义解 (二 ) 低层特征在表示图像完整的语义内容时通常没有表现文本关键词那样有效 .低层的视觉特征不能代表图像丰富的内涵 ,用户搜索图像更关心的是概念层次上图像的内容和图像表现的寓意 ,也就是图像的高层语义 .对于一幅具体图像 ,相对于背景和其他方面而言 ,用户通常更加注意一幅图像的语义内容 (或一个特定的目标区域 ),反馈图像可能只是在语义内容上部分相似 ,但在低层特征上变化很大 .因此 ,图像检索的理想方式是根据图像的语义进行检索 ,但限于目前计算机对图像内容理 解的技术水平 ,直接从图像的像素数据或低层视觉特征推理得出图像的高层语义很困难 . (三 ) 虽然目前已提
20、出了 web图像检索的方法 ,但 web图像检索系统也有很多待解决的问题 :一、 web环境下如何处理大规模的图像数据集 ,目前的方法无法使用；二、对 web图像的多模特性 (包括文本关键字、超链接信息、图像本身的视觉特征信息、图像的一些属性信息、所在页面的结构信息等 )利用不够 . 四、参考文献 1 杨德三 . 基于内容的图像检索技术研究 D.兰州 :兰州理工大学 ,2008,1-3. 2贾君霞 .基于内容的图像检索技术综述 J.应用技术 ,2010,(11):1. 3 孙君顶 ,毋小省 .纹理谱描述符及其在图像检索中的应用 M.计算机辅助设计与图形学学报 ,2010, 22(3):518-
21、520. 4 徐慧英 ,袁杰 ,赵建民 ,朱信忠 .一种基于颜色和纹理的图像检索方法 J,计算机科7 学 ,2009, 36(5):282-286. 5 许 宏 丽 , 须德 , 林 恩 爱 . 一 种 基 于 子 空 间 聚 类 的 图 像 分 层 索 引 方 法 J. 2009,14(1):143-148. 6 李士进 , 陶剑 ,高祥涛 . 基于内容的图像检索在土壤侵蚀遥感调查中的应用 J.2007,6（ 6）： 861-863. 7 张蓓 .图像检索技术的发展及现状分析 J.2009(4):42-47 8 温超 ,耿国华 .基于内容图像检索中的“语义鸿沟 “问题 J,西北大学学报 (自
22、然科学版 ), 2005,35(5):536-540 9 王伟 ,基于内容的图像检索关键技术研究 D,南京 : 南京信息工程大学 2010 ,38-40 10 Jeong S,Won C S,Gray R M Image retrieval using color histograms generated by gauss mixture vector quantizationJ,Computer Vision and Image Understanding,2004,9(1-3)： 44 66 11 Ryszard S Choras Tomasz Andrysiak Michal Chora
23、s Integrated color,texture and shape information for content;it based image retrievalJ Pattern Anal Applic(2007)： 335 336 12 Yu-Long Qiao,Zhc-Ming Lu,Jeng Shyang Pan,Sheng-He Sun Fast k-nearest neighbor search algorithm based on pyramid structure of wavelet transform and its application to texture c
24、lassification Digital Signal Processing,May 2010,V01 20(3)： 837-845 13 章毓晋基于内容的视觉信息检索 M北京：科学出版社， 2002 14 Dengsheng Zhang,Guojun Lu,Shape-based image retrieval using generic Fourier descriptorJ， 2002， V0l 17： 826-848 15Hu M K visual pattern recognition by moment invariantsJ IEEE Trans on information theory， 1962， 12(8)： 180-187
