WEB图像语义特征的分析与提取研究及实现【文献综述】.doc

1、毕业设计文献综述 计算机科学与技术 WEB 图像语义特征的分析与提取研究及实现 一、 前言部分 随着网络和多媒体技术的发展， 在互联网上出现了海量的 WEB图像 。基于内容的图像检索技术（ CBIR）得到了蓬勃发展，但是传统的 CBIR系统没有考虑图像的语义信息。另一方面，由于 WEB图像的 特征维数高，运算复杂度高，从提高检索精度或分类正确率的角度而言，都不可能将所有提取的特征都能用于检索或分类。在提取多种图像语义特征的基础上，提出采用互信息的方法分别研究单一的语义特征和多种特征组合的鉴别力，并分析特征之间的互补或冗余关系，从 而进行特征的选择。因此，对图像语义特征进行分析和提取成为这一领域

2、最前沿的研究热点之一。 基于内容的图像检索希望采用图像处理与计算机视觉技术自动地从图像中获得语义内容。由于图像语义的内在复杂性，目前还难以实现对图像语义的自动提取。语义特征的提取，现在只是将图像的底层视觉特征映射到高层语义。但不管如何，图像的底层特征的提取始终是关键。而目前图像的特征提取主要从颜色、纹理、形状等几个方面提取图像的特征。 颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质1。一般颜色特征是基于像素点的特征，此时 所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。提取颜色特征

3、常用的方法是利用颜色直方图表示图像颜色的分布特点，另外还有颜色集、颜色矩、颜色聚合向量和颜色相关图等表示图像的颜色特征，每一种表示方法各有其优缺点。 纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有

4、其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。数字图像特别是遥感图像提取纹理特征 23常用的方法有：灰度共生矩阵法， Gotlieb和 Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关 键特征：能量、惯量、熵和相关性；另外还有几何法、模型法等。小波变换法是信号处理的最新技术，用于纹理特征提取可以更精确地表示图像在垂直和水平方向的纹理细节。 通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征 345。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。边界特征法通过对边界特

5、征的描述来获取图像的形状参数。其中Hough变换检测平行直线方法和边界方向直方图方法是经典方法。 Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方 法，其基本思想是点 线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。几何参数法；形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（ shape factor）。 颜色、纹理和形状信息都只反映了图像某方面的特征。如直方图具有平移、旋转、拉伸不变性，但却无法反映相关位置信息，且受光照影响

6、，纹理、形状特征也具有类似的局限性，而为了提高用户查找所需的 web图像的效率，根据单一特征 查找效率明显是不够的。因此要融合多个特征并根据用户感兴趣因素调节各特征权值来实现针对性图像检索 6。特征融合本质是对单一特征的扩充。 二、 主题部分 （阐明有关主题的历史背景、现状和发展方向，以及对这些问题的评述） 传统的基于文本的图像检索技术是通过关键字或自由文本进行描述，查询操作是基于该图像的文本描述进行精确匹配或概率匹配。基于文本的图像检索方式简单、易于理解，但检索时要指明文本特征。由于人工注释图像的主观性和不准确性等弊端，因此这种传统的图像检索方法并不能满足用户的需要。相对于基于文本的图像检索

7、技术来说，基 于内容的图像检索实现了自动化、智能化的图像检索和管理，主要利用了图像中的一些可视化信息，如颜色、形状、纹理等信息作为检索的途径，从而提高了检索的效率和准确性因此得到越来越多人的关注。 20世纪 90年代以来，基于内容的图像检索技术得到了迅猛的发展，“以图找图”的特点引起人们的兴趣。以图像中包含的各类典型特征为客观检索对象，所用的图像特征分两类：一类为底层特征或物理特征如颜色、纹理、形状等；另一类为高层特征或语义特征，即图像内容的语义描述以及各类物理特征之问的逻辑关系。目前基于内容的图像检索技术主要以图像底 层特征的相似性匹配检索为主辅助以图像语义特征 7。 目前，国内外已经对“如

8、何通过单一的视觉特征进行检索从而得到更好的效果”进行了大量的研究，但是实验表明，基于多种特征综合 CBIR的结果优于基于单一视觉特征 CBIR的结果。要综合多种视觉特征进行检索，就需要知道各个部分(包括特征、特征的描述以及描述向量中的各个分量 )在检索中所占的比重，也就是该部分的权重。确定权重的方法有以下两种： 1)直接由用户给出； 2)由系统初始化，通过用户对初始化查询结果的反馈对权重进行动态调整。 由于“高层概念和低层特征之间存在着 巨大的差别”且“用户感知的主观性”，采用第一种方法的 CBIR并不令人满意，如何通过用户的反馈对各特征在查询中的权重进行调整成为一个研究方向， Rui使用的就

9、是这种方法 8。 单一视觉特征的检索技术 3789 1.基于颜色特征检索 颜色是一种重要的视觉信息属性，相对于其他特征，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较强的鲁棒性，而且颜色特征计算简单，因此成为现有的检索系统中应用最广泛的特征。 基于颜色检索主要采用颜色直方图的方法。颜色直方图代表 3个颜色频道强度的联合概率，描述全局 的颜色分布，对旋转以及位置变化不敏感。 1990年， Swain和 Ballard提出了直方图交的算法，从而为颜色检索奠定了基础。利用颜色特征进行图像检索可以追溯到 Swain和 Ballard提出的颜色直方图法。颜色直方图法的主要思想是根据相同颜色

10、的像素个数在整幅图像中所占的比例，然后采用颜色直方图的交来度量两幅图像色彩的空间信息。颜色直方图计算简单，而且具有尺度、平移及旋转不变性。颜色直方图的主要缺点：它只包含了某一彩以出现的频数而丢失了像素所在的位置信息。任一幅图像都能唯一的给出一幅与它相对应的直方图，但不同的 图像可能有相同的直方图，也就是说直方图与图像是一对多的关系，这显然与人的视觉感应不符，即误检率较高。 为了克服颜色直方图的缺陷，提出了许多改进方法，如 Pass等人提出的用图像的颜色聚合矢量 CCV(color coherence vector)作为图像的颜色特征、 Strickd和 Orenges提出的累计颜色直方图、色彩

11、矩方法等。其它基于颜色的方法还有许多，如颜色相关向量法、颜色相关图法、颜色集方法、颜色聚类法等等。 2.基于纹理特征检索 基于纹理的检索适用于检索诸如水波、布匹、建材等类型的图像，通常采用统计方法、 结构方法以及频谱分析方法进行。统计方法主要用于分析像木纹、沙地、草坪等细致而不规则的物体，根据图像像素间灰度的统计性质对纹理规定出特征以及特征与参数间的关系。结构方法适于像布料或砖瓦等一类元素组成的纹理以及排列比较规则的东西，根据纹理基元及其排列规则来描述纹理特征。 统计方法通常在频率域和空间域上进行。在频率域上，主要采用傅立叶变换和小波分析。傅立叶变换在能量谱上反映图像粗糙度和方向性；小波分析中

12、采用Gabor滤波能够表现出最好的特征。在空间域主要采用 Haraliek和 Shanmugam提出的共生矩阵法，共 生矩阵的每个元素表示从灰度 i像素点开始离开某固定位置 t的像素点灰度为 j的概率。该法的缺点在于矩阵很大且含有大量的冗余信息。Tamura是纹理分析的另一主要方法，它定义了粗糙度、方向、归整等 6种特征，每种特征相互独立且可视。其优点在于几乎没有冗余信息，算法的效率比较高。 3.基于形状特征检索 采用形状特征进行检索，用户可以通过勾勒图像的形状或轮廓，从图像库中检索出形状相似的图像。基于形状特征的检索有两种：一种是分割图像经过边缘提取后得到目标的轮廓线。针对这种轮廓线进行图像

13、特征检索；另一种是基于图像的区域特征进行检 索。 针对形状轮廓特征的描述方法主要有：边界直方图、链编码、曲率尺度空间、傅立叶描述符等，其中最典型的方法为傅立法描述符。它的基本思想是用物体边界的傅立叶交换作为形状描述利用区域边界的封闭性和周期性将工作问题转化为一维问题，从而提高了检索的效率。针对区域特征的描述方法主要有形状的无关矩、区域的面积、形状的纵横比率 。对于基于形状的检索来说。形状的提取、描述及匹配都是重点要解决的问题。与基于颜色和纹理的检索方法相比较。基于形状的检索方法比较困难。 基本组合的多特征检索 3678 图像内容具有各 种视觉特征及视觉对象的空间关系等，而人在观察图像时也不只是

14、观察一个特征，而是会同时看到图像的颜色、形状等多个组合特征。在用单一特征进行检索时，可能出现非常相似两幅图，但在语义上相差很大。而采用组合特征检索法时可以在颜色、纹理、形状等几种查询特征中选择两种或两种以上的特征进行组合检索。基于多特征组合检索便于用户更灵活、更有效地表达检索要求，提高检索的准确率。该检索方法可分两种情况进行：一种是异步组合检索，另一种是同步组合检索。基于组合检索方法与单一特征的检索相比，可以提高检索精度。其缺点是检索精度调整和提高的 过程是一个工人干预的过程，这过分依赖于人的主观判断，检索效率不高，不具有通用性。因此，针对同步组合检索方法，对检索过程中特征的归一化自动进行调整

15、，提高了人机交互相关反馈检索方法。 基于语义的图像检索 3710 在基于内容的图像检索中 ,图像特征索引技术主要研究的是图像的视觉和形象特征 ,包括颜色及其分布关系、纹理、对象形状以及它们之间的空间关系等方面。以图像的底层视觉和形象特征为索引对图像进行检索具有计算简单、性能稳定的特点 ,但目前这些特征都有一定的局限性。为了实现更为贴近用户理解能力的自然而简洁的查 询方式 ,并提高图像检索的精度 ,在 CBIR(content based image retrieval)技术领域进行包含语义的检索方法的研究是十分必要的。因此 ,近几年的研究逐渐转向基于区域和目标对象的高层图像语义描述特征的提取

16、,尝试由图像的底层次特征推知高层次语义 ,从而使用高层语义特征计算图像相似程度。如何从图像的底层特征中自动提取语义特征 ,成为基于内容的图像检索领域的难题。 基于语义的图像检索需要解决两个方面的问题：一是必须提供高层语义的描述方式：二是必须有将低层图像视觉特征射到高层语义的方法。图像的视觉特 征信息和用户视觉数据理解的不一致性，使得视觉底层特征和高层语义之间存在语义鸿沟。针对这一问题，许多学者进行了研究， Amoid将图像的知识作用域分为狭义域和广义域两类， Hermes等人使用了相似性技术直接从户外图像中推导场景的自然语言描述， Zhuang等人提出了模糊布尔模型、概率布尔模型。这些方法在不

17、同的场合分别显示了它们在语义表达方面的能力。 基于语义的图像检索方法，它允许用户在检索过程中用主观感觉来描述图像，这对于检索者来说，可以提高检索效率和准确性。但是“语义鸿沟”的存在，使得基于语义的图像检索仍面临着 很大挑战。 三、 总结部分 （将全文主题进行扼要总结，提出自己的见解并对进一步的发展方向做出预测） 本文是对基于内容的图像检索中的语义特征技术进行了综述，同时对多种常用语义特征及对多特征的组合做了基本的介绍。基于内容的图像检索技术是一种综合的集成技术，其研究涉及认知科学、人工智能、模式识别、图像处理、信息检索等多个领域。虽然对该领域的诸多研究已经取得了很大进展，但仍存在很多不完善的地

18、方。仍需进一步深入研究。 (1)综合多特征的检索 ,采用多种特征相结合的方法来提高系统检索效率。 (2)在基于图像底层特征提取的基础上 ,实现基于语义的图像特征提取。 (3)人机交互和相关反馈最近几年已成为图像检索的研究热点。 (4)与数据库技术的融合。基于内容的图像数据库把图像处理、 图像识别、 数据库三个领域的技术成果结合起来 ,是一个有前途的发展方向。 (5)图像检索技术与网络技术的结合。随着网络技术的飞速发展 ,面向网络的图像检索应得到深入的研究 11。 四、参考文献 （根据文中参阅和引用的先后次序按序编排） 1王义峰等 .一种基于亮度特征的图形图像分类方法 .计算机应用，第 24卷第

19、 4期， 2004年 4月 2文吴昊 .基于纹理特征的遥感图 像检索研究及其应用， 2007 3张好 .图像语义特征的提取与分析 .信号与信息处理， 2006年 12月 4孙君顶 .基于分块主色和形状特征的彩色图像检索 .光电工程， 2006， (12) 5施振祥 .基于内容图像检索相关技术的综述 .福建电脑， 2007， (10) 6孙挺，王浩川，耿国华，周明全 .一个多特征结合的图像检索技术 .中州大学学报，第 25卷第 3期， 2008年 6月 7孟祥娜，秦玉平，王春立 .基于内容的图像检索技术综述 .渤海大学学报，第3O卷第 1期， 2009年 3月 8邓诚强，冯刚 .基于内容的多特征 综合图像检索 .计算机应用，第 23卷第 7期，2003年 7月 9谢毓湘，吴玲达，栾悉道 .基于内容的图像检索技术研究 .计算机工程与应用 ,2001年 10月 10吴 楠，宋方敏 .一种基于高层语义信息的图像检索方法中国图像图形学报， 2006， 11(12)： 1774 1780 11张素芳，李剑中，冯刚 .基于内容的图像检索技术概述及其发展趋势 .仪器仪表学报 ,第 27卷第 6期增刊 ,2006年 6月