1、 本科 毕业 设计 (论文 ) （二零 届） WEB 图像语义特征的分析与提取研究及实现 所在学院 专业班级 计算机科学与技术 学生姓名 学号 指导教师 职称 完成日期 年 月 摘 要 ：随着网络和多媒体技术的快速发展，每天都会在互联网上涌现出海量的 WEB图像。然而，如何 从 中 获得 用户所需的 WEB图像， 挖掘隐藏在其中的有用信息，使得 图像识别 和检测技术 的研究有 着 重要的意义和发展前景。特征提取是图像识别 和检测急速 的关键步骤 ,其有效性将直接决定后续操作的效果 。 因此，如何从图像中提取 出 具有较强 语义 表示能力 的 特征是 近期 图像处理 研究领域 的一个热点。 在
2、本文 中，我们将 介绍 常见 图像特征提取方法的基本思想、特点及存在的一些问题。 特别是重点 介绍了特征提取 中 最常用的三种 语义 特征（ 颜色、纹理和形状特征） 的提取方法 。最后 ，我们 设计了 应用 程序来提取 网络 上下载 得到风景图像的颜色、纹理和形状特征，并加以性能对比。 关键词 ： WEB图像 ；特征提取；颜色 特征 ；纹理 特征 ；形状 特征 ； The Research and Implement of the Analysis and Extraction for WEB Image Semantic Features Abstract: With the fast de
3、velopment of network technology and multimedia technique, huge of WEB images are appeared on the Internet. However, how to obtain WEB images that users requested, and mine useful information from them, which makes the research on image recognition and retrieval having a significant meaning and a lar
4、ge prospect. Image feature extraction is a key step in image recognition and retrieval and its effectiveness will directly determine the results of following processing. Thus, how to extract the features that have strong expression abilities from images is also a focus in image processing. In this p
5、aper, we introduce the basic ideas, characteristics, and problems of traditional extraction methods. Especially, we conclude several classical extraction methods for three semantic features, i.e., color features, texture features, and shape features. Finally, we design a program to extract color, te
6、xture, and shape features from WEB images that are downloaded from the network, and its performance are compared with other methods. Key words: WEB image; feature extraction; color feature; texture feature; shape feature 目录 1 绪论 . 1 1.1 研究意义 . 1 1.2 国内外研究现状 . 1 1.3 特征提取中存在的问题 . 3 1.4 研究的主要内容 . 5 1.5
7、 论文的结构 . 5 2 图像的语义信息 . 6 2.1 图像的低层语义信息 . 6 2.1.1 颜色特征 . 7 2.1.2 纹理特征 . 7 2.1.3 形状特征 . 8 2.2 图像的高层语义信息 . 8 3 特征提取的主要技术 . 10 3.1 颜色特征提取 . 10 3.1.1 颜色空间模型 . 10 3.1.1.1 RGB 颜色空间 . 10 3.1.1.2 HSV 颜色空间 . 11 3.1.1.3 RGB 颜色空间到 HSV 颜色空间的转化 . 12 3.1.2 颜色直方图 . 13 3.1.3 颜色矩 . 13 3.1.4 颜色聚合 矢量 . 14 3.2 纹理特征提取 .
8、14 3.2.1 灰度共生矩阵 . 14 3.2.2 Tamura 纹理特征 . 16 3.2.3 小波变换方法 . 18 3.3 形状特征提取 . 19 3.3.1 傅 里 叶描述子 . 19 3.3.2 Hu 不变矩 . 20 4 WEB 图像的特征分析与提取 . 22 4.1 WEB 图像的特征分析 . 22 4.2 WEB 图像的颜色特征提取 . 22 4.3 WEB 图像的纹理特征提取 . 22 4.4 WEB 图像的形状特征提取 . 23 5 功能实 现 . 25 5.1 实现环境 . 25 5.2 实验实现 . 26 5.2.1 颜色特征提取的实现 . 26 5.2.2 纹理特征
9、提取的实现 . 29 5.2.3 形状特征提取的实现 . 31 6 总结与展望 . 35 6.1 总结 . 35 6.2 展望 . 35 致 谢 . 错误 !未定义书签。 参考文献 . 36 1 1 绪论 1.1 研究意义 随着网络速度的提高和上网人数的快速增长，互联网已经走进了千家万户中。与此同时，网络的普及 、 网络技术的飞快发展和多媒体技术的迅速崛起，使得互联网上图像所占的比重越来越大。随着社交网络、博客、论坛等在网络上的崛起与壮大，每天被网民 所游览、上传、下载的图像简直无以计数，同时越来越多的行业通过网络都在使用大量的图像数据。而如何从大量的图像数据中获得自己感兴趣的信息，并对其进行
10、合理的组织和利用，是一个非常有挑战性的问题，因此，在这样的趋势下图像检索技术的研究有重要的意义和发展前景。 而图像检索或分类技术的前提和关键在于分析和提取最有表现力的图像特征。如果选择鉴别力高的图像语义特征用于分类，则会产生较好的分类结果，反之，结果会不慎心意。而在检索之前先对图像数据库进行合理的分类，特别是对于现在容量日益趋增的图像数据库检索出符合心意的图像来，将 会大大提高 CBIR1系统的检索效率，使得搜索结果更深人意。另一方面，由于 WEB 图像的 特征维数高，运算复杂度高，从提高检索精度或分类正确率的角度而言，都不可能将所有提取的特征都能用于检索或分类。在提取多种图像语义特征的基础上
11、，提出采用互信息的方法分别研究单一的语义特征和多种特征组合的鉴别力，并分析特征之间的互补或冗余关系，从而进行特征的选择。因此对图像语义特征的分析与提取研究是非常有必要。 由于目前大型图像数据库的广泛存在，对于图像数据库检索或分类是一门重要的课题，多年来已经取得了很大发展。但是因为图像的 复杂度，使图像检索仍是热门课题，并尚有很多关键技术点没有解决，其中关于图像语义特征的研究成为这一领域最前沿的研究热点之一。 1.2 国内外研究现状 基于内容的图像检索自从几十年前被提出以来，得到国内外信息领域科技人员的广泛重视和研究，迅速成为多媒体，特别是图像和数据库技术中的研究热点之一和中国图像工程的新类别之
12、一。 经过国内外信息领域科技人员几十年的研究，基于内容的图像检索研究和应用已经取得了相当大的进展。不仅有大量相关理论研究和技术应用的论文发表，而且也出现了不少较成2 熟的应用系统模型。其中，具有商用价值 的著名软件包系统包括 IBM 公司的 QBIC2,3系统和Virage 公司开发的 Virage4系统；试验原型系统包括由哥伦比亚大学开发的 VisualSEEK 和WebSEEK5,6， MIT 媒体实验室开发的 PhotoBook7,8系统，美国 UCSB 大学的 Alexandria 数字化图书馆项目中用于图像检索的 Netra9系统以及 UIUC 的 MARS10系统等等，这些系统在一
13、定的领域得到了应用。 (1)QBIC QBIC(Query By Image Content)是 IBM Almaden 研究中心于 90 年代开发的第一个商用的基于内容的图像检索系统，它的系统结构及所用技术对后来的图像检索系统有很深远的影响。 它提供了基于颜色特征、纹理特征和形状特征的检索功能。基于颜色特征的查询用的是RGB、 Lab和 MTM(Mathematical Transformto Munsell)坐标系及 K元颜色直方图，主要采用颜色百分比壳询和颜色直方图查询两种方法；基于纹理特征的查询用的是 Tamura纹理表示的一种改进形式，如粗糙度、对比度和方向性的组合。基于形状特征的查
14、询使用了形状面积、曲线、主轴方向和一组变换不变量等描述方 法。 QBIC还考虑了高维特征索引。这种方法能够使用户更加快速简洁的对可视化信息进行筛选与确定。用户检索时，无需提供文字检索词，只要输入以图像形式表达的检索要求即可检索出一系列相似的图像。它为多个数据库提供检索试验，例如美国 1995年以前发行的邮祟图案、世界著名商标、旧金山美术博物馆图像数据库等。它提供了多种查询方式，包括利用系统提供的标准范图检索，用户绘制简图或输入图像进行检索等。 虽然 QBIC系统可以使用多种特征进行检索，但这些特征间是孤立而没有联系的，同时用户使用该系统需要具有图像特征的一些基本知识，这 就使得该系统的易用性
15、大 打折扣。 (2)VisualSEEK and WebSEEK VisualSEEK和 WebSEEK是美国哥伦比亚大学开发的。 VisualSEEK是基于图像视觉特征的搜索引擎，支持基于视觉特征和它们之间空间关系的查询。图像特征从图像的压缩域中获得。图像视觉特征主要是颜色和基于小波变换的纹理特征，并且使用基于 quad-tree和 R-tree的索引结构提高检索速度。 WebSEEK是面向 WEB的文本 /图像搜索引擎，主题分类是其主要优点。它由三个模块组成，分别是视频 /图像采集模块，主题分类和索引模块， 查找、浏览和检索模块。该系统支持基于关键字的查找和基于视觉内容的查找。 WebSE
16、EK的检索途径有三种，一是使用关键词进行自由全文检索，但不支持短语检索；二是利用不同的类目等级进行主题浏览；三是在检出图像的基础上利用其可视属性进一步检索。 3 (3)Photobook Photobook是 MIT媒体实验室开发的一套浏览、检索图像的交互式工具，它包含三个子系统，分别提取形状、纹理和面部特征，用户可以分别在上述三个子系统中根据相应的特征进行检索。目前还没有一种特征可以很好地对图像建模，所以在 Photobook的最新版 本 FourEyes 中， Picard等提出在图像的标注和检索过程中包括人。更进一步，由于人的感知是主观的，他们又提出了“模型集合”结合人的因素。实验结果表
17、明该方法对交互式图像注释很有效。 国内从 1994 年开始关注这方面的研究，清华大学图形图像研究所、中科院计算所、微软亚洲研究院多媒体技术组、国防科技大学多媒体中心等科研机构在这方面都取得了一定的成果。 清华大学设计了基于内容的 WWW 图像搜索引擎 ImgRetr11，该系统是面向多媒体制作图像素材库的，图库中设计的内容面较广，但缺乏特定的领域知识。它采用了主 颜色、纹理、颜色直方图、颜色分布、轮廓等通用特征来对图像的内容进行描述，同时采用 GSS 树作为系统的相似索引，颜色直方图和轮廓的相似度计算采用二次型的距离度量，其他特征的相似度计算采用了欧式距离进行度量。 国防科技大学多媒体开发中心
18、设计开发了一个基于内容的视频新闻节目浏览检索系统 NewsVideoCAR(News Video Content Analysis & Representation)12。该系统能对新闻视频的内容进行自动分析、分类和管理，用户在该系统的帮助下可以快速定位感兴趣的新闻片断，也可 以快速掌握一段新闻的大意。另外，用户还可以通过关键字检索特定内容的新闻。 iFind13,14系统是微软亚洲研究院多媒体组开发的基于内容图像检索的原型系统，它提供了关键词检索、示例检索、分类浏览、相关反馈和半自动标引等功能。其主要技术在于物理特征和语义信息相结合的检索技术，其特色在于基于语义传递的相关反馈技术。Image
19、Hunter15是中科院计算技术研究所数字化技术研究室开发的一个图像检索原型系统，目前系统实现了图像颜色、纹理特征的自动提取及在此基础上的图像检索，同时该系统还包含了基于文本的图像检 索及标注功能。 1.3 特征提取中存在的问题 就目前研究现状而言， CBIR技术己经研究了几十多年，有了很大发展，也有了不少成形的算法，不过其中很多关键问题还是远远没有得到解决，总体效果不能令人满意。基于内容的图像检索希望采用图像处理与计算机视觉技术自动地从图像中获得语义内容 ,但 由于图像4 语义的内在复杂性，目前还难以实现对图像语义的自动提取。语义特征的提取，现在只是将图像的 低层 视觉特征映射到高层语义。图
20、像的 低层 特征的提取始终是关键 ， 目前基于内容的图像检索技术仍然主要集中在颜色、纹理、形状、轮廓等 低层 视觉特征提 取的基础上，但是由于图像特征描述和特征提取及相似性度量的复杂性，其技术仍不是很成熟，理论上还有许多问题有待解决。 1） 颜色特征提取中存在的问题 颜色特征是许多 CBIR系统的一个主要研究对象 16，但颜色之间的相似性度量的定义和视觉上人对颜色的判定仍有一定的差距 17。另外 由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征 。同时定义一种和人的视觉相一致的度量可以进一步提高检索效果，这需要对人类心理学和人类视觉以及颜色物理几
21、方面进行综合深入地研究。 2） 纹理特征提取中存 在的问题 基于纹理的特征提取的主要问题在于目前的纹理特征提取的算法仅仅适用于某一特定物体，无法精确的适用于图像库中的其他物体。而且纹理特征是图像中比较复杂的特征，因为纹理特征代表了人的复杂心理认知过程，而机器视觉难以精确模拟人在多变场景中对纹理的准确识别过程。纹理是一个区域性概念，无法在像素级层面给予准确描述。而且 由于纹理特征所占有的有效尺度随着图片的细致程度而变化，且纹理效果受视角、几何形变的影响较大，所以准确的提取和判断出图像的纹理特征至今没有很好的办法。 同时使用纹理特征首先需要将图像纹理进行分割，而这 是一项相当困难且计算量很大的上作
22、，另外基于纹理的技术缺乏有效的纹理模型，纹理特征与人类感知的相关性还不得而知 18。 3） 形状特征提取中存在的问题 如何精确地提取图像的边界形状一直是困扰图像处理领域多年的难题 19，对于大批量图像数据而言，这个问题将显得更为突出。各种形状特征表达方法对形状信息的丢失非常严重；而 目前基于形状的检索方法还缺乏比较完善的数学模型； 另外 如果目标有变形时检索结果往往不太可靠； 同时 许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求； 还有 许多形状特征所反映 的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别 20
23、。 图像语义特征提取难度高， “ 语义鸿沟 ” 导致目前检索系统通常只使用的低层可视化特征，这与高层语义之间存在的巨大语义间隔 21。因此，亟需一个从高层语义到低层特征的映射来弥合两者之间的间隔 。 5 图像特征提取是图像检索的关键步骤，它直接影响到图像特征的相似性度量以及图像检索的结果。 1.4 研究的主要内容 本文从图像低层语义特征的分析及提取出发，对 WEB 图像中的风景图片的可视化视觉特征的分析与提取进行研究。 本文主要做了一下几个方面的研究。 （ 1） 特征分析。围绕 WEB 图像中的风景图片的可视化特征进行分析，以得出其特有的低层语义特征，为特征提取做好进一步的准备工作。 （ 2）
24、 特征提取。围绕图像低层特征的提取提取方法展开研究，在总结他人的研究成果的基础上，就综合 WEB 图像中的风景图片分析得到的特征进行低层语义特征的提取。 （ 3） 基于以上的研究，设计了一个图像低层语义特征提取的系统 ,分别提取 WEB 图像的颜色、纹理、形状特征 。 1.5 论文的结构 本文详细介绍了基于图像特征检索技术的现状，在系统分析了图像 低层 特征提取的一些关键技术后，重 点围绕 WEB 图像特征分析和提取展开研究，本文共分六章，具体的章节内容安排如下。 第一章 绪论，论述图像特征提取的研究的背景与研究意义，研究的现状和存在的问题以及本文主要研究的内容和结构安排。 第二章 图像的语义
25、信息，介绍了图像的 低层 语义特征和图像的高层语义特征以及图像语义特征的“语义鸿沟”，最后就本文就研究 低层 视觉特征进行了说明。 第三章 图像特征的提取技术，介绍目前基于图像 低层 语义特征的提取技术，主要是在颜色、纹理和形状这三种常用特征介绍了其各自的常用提取技术与算法。 第四章 针对 WEB 图像的语义特征分析与提取，主要先从 WEB 图像的语义 特征分析入手，介绍了 WEB 图像的视觉特点并提出其语义特征（颜色 、 纹理 、 形状）的提取。 第五章 功能实现与实验结果，对基于 WEB 图像特征提取系统 进行 了实现，介绍了系统开发的环境， 并对 WEB 图像分别采用不同的算法提取其视觉特征 ，并给 出 了实验结果。 第六章 总结与展望，总结本论文的要点和主要工作，并对进一步的研究方向和未来发展进行展望。
