基于情感图像检索系统的设计与实现.doc

1、西 安 邮 电 大 学毕 业 设 计（论 文）题 目： 基于情感图像检索系统的设计与实现 院 （系）： 计算机学院 专 业： 计算机科学与技术 班 级： 计科 1004 班 学生姓名： 任宁宁 导师姓名： 刘伟 职称： 副教授 起止时间： 2013 年 09 月 25 日至 2014 年 06 月 02 日 毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文基于情感图像检索系统的设计与实现是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、 资料均已明确 标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全清楚本声明的法律后

2、果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。论文作者签名： （签字）时间： 年 月 日指导教师签名： （签字）时间： 年 月 日西 安 邮 电 大 学毕 业 设 计 (论文) 任 务 书学生姓名： 任宁宁 指导教师： 刘伟 职称： 副教授学院： 计算机学院 专业： 计算机科学与技术 题目： 基于情感图像检索系统的设计与实现 一、任务与要求图像中含有情感信息，不同的图像会唤起人类不同的情感。将图像情感语义特征应用到图像检索中，使图像检索的结果更加符合人类对图像的自然描述、理解和需求，是一个有着学术和应用价值的问题。本题目是基于内容的图像检索（CBIR）应用系统的设计，目标是用

3、Matlab（或其他开发平台，如C#、Java）开发出能够满足用户提出的情感色彩检索要求的检索算法以及对应的图像检索实验平台。通过本设计可以较为熟练的掌握图像处理程序设计方法，并对图像处理和图像检索技术有一定的了解。具体的任务包括：（1）根据所给的情感数据库以及自行从因特网上下载的图像构造一个实验数据库，数据库中包含经过若干被试主观评估、打分整理后的情感语义图像（数据库中包含“静感”和“动感”两类语义图像） 。 （2）采用“线条方向直方图”作为特征描述情感语义（“静感”和“动感”两类语义） 。 （3）采用 K-NN 和 BP 神经网络用于图像语义分类。 （4）设计出情感图像检索原型系统。 要求

4、开发出的程序满足正确性和执行效率的要求，并在上述（1）中构建的图像数据库上完成计算机算法验证实验。要求同学完成毕业设计后应提交相应的毕业设计文档（如毕业设计论文等）以及可在 Windows 平台下运行的情感图像检索原型系统程序。二、参考资料1 Rafael C. Gonzalez 等著，阮秋琦等译. Digital Image Processing（中文版名：数字图像处理）M. 北京：电子工业出版社，2003.2 Kherfi M L，Ziou D，Bernardi A. Image Retrieval From the World Wide Web：Issues，Techniques，and

5、 SystemsJ. ACM Computing Surveys，2004，36（1）：35-67. 3 章毓晋. 基于内容的视觉信息检索M. 北京：科学出版社，2003. 4 庄越挺等著. 网上多媒体信息分析与检索M. 北京：清华大学出版社，2002. 5 刘伟 . 图像检索中若干问题的研究D. 杭州：浙江大学，2007. 6 王上飞，王煦法. 图像情感检索研究的进展与展望J. 电路与系统学报，2005，10（4）：102-110.7 王伟凝，余英林. 图像的情感语义研究进展J. 电路与系统学报，2003，8（5）：101-109. 8 王伟凝，余英林，张剑超 . 基于线条方向直方图的图像情

6、感语义分类J. 计算机工程，2005，31（11）：7-9.三、主要仪器及材料所需硬件设备为安装有 Windows XP 及以上操作系统的台式计算机一台。该计算机安装有 Matlab 2008 或以上版本软件（或其他开发平台软件） 、Microsoft Word 字处理软件（或具有相似功能的其他软件） 、ACDSee 图像浏览软件（或具有相似功能的其他软件） 。4、工作计划（时间进度）1) 2013 年 10 月 9 日-12 日：开始选题，制订计划。 2) 2013 年 10 月 12 日：启动科研训练，明确要求。 3) 2013 年 10 月 1 日-27 日：课题调研，文献查阅，完成开题

7、报告。4) 2013 年 10 月 30 日前各专业负责人审查本专业指导教师的任务书。5) 2013 年 11 月 1 日-8 日：完成开题报告的撰写工作、准备开题报告答辩工作6) 2013 年 11 月 7 日：开题报告答辩。7) 11 月 15 日前（第十二周）学生将开题报告 （定稿）上传至毕设管理系统中。8) 2013 年 11 月 2 日- 下学期开学前两周：准备资料，迎接中期检查。9) 2014 年 3 月 13 日：中期检查。10) 2014 年 3 月 13 日-2014 年 5 月 28 日：毕业论文的设计与实现。11) 2014 年 5 月 30 日：毕业论文查重。12) 2

8、014 年 6 月 4 日：终期验收。13) 2014 年 6 月 11 日：毕业设计答辩。西安邮电大学毕 业 设 计 (论 文 )开 题 报 告计算机学院 院（系） 计算机科学与技术 专业 10 级 04 班课题名称： 基于情感图像检索系统的设计与实现 学生姓名： 任宁宁 学号： 04101118 指导教师： 刘 伟 报告日期： 2013 年 11 月 02 日 1.本课题所涉及的问题及应用现状综述随着计算机技术和网络技术特别是因特网技术的发展，以及近年来消费型电子产品（如数码相机、带拍照功能的手机、电子摄像机等）的普及，使得数字图像等多媒体数据的规模急剧膨胀，每天都有巨量的数字图像产生、发

9、布和共享。如何从浩如烟海的图像信息中及时、高效地寻找所需要的图像成为一个需要迫切解决的问题。基于内容的图像检索问题正是在这样一个背景下提出。目前的商用 Web 图像搜索引擎，如 Google 和百度都是采用和文本搜索类似的技术路线，即采用 Web 网页中与图像关联的文字信息（即图像标签文字）来完成搜索任务。这样的方法带来的问题是：（1）搜索精度有限。因为和用户输入的关键字匹配的网页图像标签文字并不一定能很好地描述图像本身的“ 内容 ”；（2）无法实现“以图搜图”功能。即根据图像而不是文字来搜索图片。 “以图搜图 ”功能具有重要的应用价值。基于内容的图像检索（content-based imag

10、e retrieval，CBIR）是有望解决上述问题的关键技术。图像检索是属于图像分析的一个研究领域。其目的是在给定查询参数（如查询图像）的前提下，依据内容信息或指定查询标准，在图像数据库中搜索并查找出符合查询条件的相应图像。心理学研究表明，图像中含有情感信息，不同的图像会唤起人类不同的情感。如何有效地模拟人观察图像后所引起的情感感觉，并使用带有感情色彩的语义表述图像，是一个具有很大挑战性的前沿课题。 “动感”和“静感”是一对人类常有的情感，本设计使用图像的低层特征来对艺术图像进行“动感” 和“静感”的分类，并在此基础上实现情感图像检索，这是一个有益的探索工作。而当今的绝大多数基于内容的图像检

11、索系统主要是对图像的多维物理特征进行相似性匹配查询，对于用户的爱好、情感等主观或感性化的因素考虑较少。因此我们引入了情感计算这个概念，情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐的人机环境。另一方面，视觉信息是人类从客观世界获得信息的主要来源，人向外界获取的信息中，视觉成分约占总数的 80%，图像则是视觉感知的结果和表现形式。随着多媒体技术的迅速发展，数字图象处理中的一个重要研究方向是使计算机能够模仿人的感觉和需求来处理和理解图像。因此情感图像检索将从用户的情感需求出发，探索高层次的用户情感和低层次的图像特征之间的联系，建立交互式动态的情感图像检索模型。目前情感

12、图像检索主要涉及以下四个方面的研究内容：1）定义图像的感性特征（图像元数据） ，即抽取图像中较容易引起用户情感变化的特征；2）定义用户情感信息的描述方式（印象语元数据） ，即用户用来表达心理的形容词（也称为印象语，Impression Words）在计算机中的处理和表达方式；3）计算图像感性特征与用户情感需求之间的语义相关性，即建立用户高层次的情感信息和图像低层次的感性特征之间的联系，也即建立情感用户模型（Affective User Model） ；4）通过学习机制，根据用户的不同，自适应调整情感用户模型，提高检索的准确性，即个性化情感用户模型。在图像检索系统的早期应用有日本的“Art Mu

13、seum”和“IQI 系统” ，能够使用印象词（impressionwords）如（自然的、优雅的、华丽的等）检索图画；最近的 Bianchi-Berthouz 的 K-agent 图像检索系统，比一般的系统更注重用户的情感需求；还有Chile 大学正在研制的 TEXRET 系统，希望使用类似人类感觉的定性描述来检索纹理图像21；意大利的 Colombo 等还在图像情感研究的基础上，还进行了视频图像的语义检索研究，用于广告、电视等视频检索5。除此之外， 图像的情感研究在设计系统中也得到了应用，日本色彩与设计研究所推出的 Image Analyst LE 系统，能根据用户的性别、年龄、职业及用户

14、性格的调查，运用已有的颜色研究成果，找到的适合用户的风格（如自然的 netural、优雅的elegant、别致的 chic）和色彩搭配（米黄、草绿、浅褐色、浅灰等） ，最后给出用户所需的服装、居住环境、消费用品的颜色设计方案；南京航空航天大学苑寅秋根据配色方案评判模型以及色彩情感效应的量化研究，将针对机电产品色彩构成，本着“回归人本”的现代设计主题，将专家系统技术引入到几点产品色彩设计领域，研制了面向机电产品的色彩设计专家系统（MCSES） ，实现了推荐配色方案及方案预览功能。北京航空航天大学的陈斌证明了图象的分形维数与情感特性具有一定关系，并根据这种关系，提出了用计算机自动产生和谐分布图案的

15、算法。2.本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析(1)情感图像检索的背景、目的和意义；(2)情感图像数据库的构建；实验收集中了包括油画、水粉画、中国画等在内的彩色艺术图像 200 幅，请 5 位年龄在 2025 岁的男女大学生参与，每人都对图像的动感作出评估，将图像分别用0，1，2 表示，其中 0 表示“静感” 图像，2 表示“动感”图像，而 1 表示中间类，表示图像介于静感和动感之间，我们在试验中将 1 类从图像库中去除。最后得到若干幅图像，其中“ 静感” 类图片若干张， “动感”类图片若干张。这些实现起来工作量比较大，需要细心认真，总体来时比较容易构建。（3）

16、“线条方向直方图 ”算法的设计与实现；动感和静感是一对人类常有的情感，根据线条与图像动感感觉之间的联系，使用图像的低层特征来对艺术图像进行“动感” 和“静感”的分类，采用了改进的边缘方向直方图作为特征，并使用概率神经网络（PNN）进行分类，达较高的准确率，是对图像情感语义分类研究的有益探索。Jain 等人提出的边缘方向直方图方法，使用canny 算子（1，高斯滤波器宽度4）对图像进行边缘检测，得到的边缘图像中每个边缘像素都具有一个梯度模值 M(x,y)和一个方向梯度相角值 (x,y)：(1) 122fx,yfx,yM,=+（ ） fx,yf,x,y=arctg其中， (-90,90)，而边缘像

17、素点的方向梯度相角与该点的边缘线条方向垂直，所以线条方向为： (x, y) = (x, y) + 90， (0,180)。 在计算直方图矢量之间的距离时，我们使用了欧式距离度量，如式(2)所示：(2)2nEQIQIj=1dHj-H，图像人工分类结果表明，具有较多垂直线条的图像与具有较多水平线条的图像一样都给人以宁静的感觉，进行分类的依据是不同图像的直方图向量之间的距离，根据分类的原则，同类向量之间的距离应该较小，异类向量之间的距离应该较大，即类内距离要小，类间距离要大。对于不符合分类的要求，有必要对直方图进行修正。（4）K-NN、BP 神经网络分类器的设计与实现；神经网络（NN，neural

18、network）是在现代神经科学研究成果的基础上提出来的，是对人脑动能的若干特性的简化、抽象和模拟的数学模型。神经网络由许多具有非线性映射能力的神经元组成，神经元之间通过权系数相连接，其信息分布式存储于联接权系数中，使网络具有很高的容错性和鲁棒性，这一特点使得其具有能够解决模式识别问题的潜力，人工神经网络所提供的学习能力，大大放松了传统识别方法所需的约束条件，使其对某些识别问题显示出极大的优越性。余英林等就采用 BP 神经网络方法对图像的的纹理的特征进行分类取得了良好的效果，还对基于模糊感知器的模糊神经分类器进行过详细的讨论。做为一种建立非线性映射的一个强有力的工具，神经网络方法在图像情感研究

19、中得到了广泛的应用。Jinsub 建立了基于多层反馈神经网络的彩色图案的情感评估系统，显示出比前人的线性系统评估结果更高的准确率。Hayashi使用了反向传播规则的神经网络来建立图像特征与印象词间的联系，达到了 78.8%的准确率。搞懂 K-NN 算法设计，仔细思考算法细节问题，以及各种实际中遇到的问题。完成本课题的工作方案3.本学期应该完成如下任务：（1）学习图像处理、图像检索、模式识别中和本毕业设计相关的知识；（2）熟练掌握 Matlab 语言程序设计方法；（3）构建好测试用的“情感语义图像数据库” ；（4）完成“线条方向直方图”算法；（5）完成开题报告 ；（6）完成外文翻译。具体进度安排

20、：(1)2013 年 9 月 25 日-27 日：开始选题，制订计划。(2)2013 年 9 月 30 日：启动科研训练，明确要求。(3)2013 年 10 月 1 日-27 日：课题调研，文献查阅，完成开题报告。(4)2013 年 10 月 28 日-11 月 12 日：开题报告答辩。(5)2013 年 11 月 2 日-下学期开学前两周：准备资料，迎接中期检查。(6)下学期开学 -2014 年 6 月 2 日：完成毕设并参加毕业设计答辩。参考文献：1 陈斌. 基于分形与小波的图像和谐情感特性研究 D. 北京航空航天大学硕士学位论文, 2002.2 Rafael C. Gonzalez 等著

21、，阮秋琦等译. Digital Image Processing(中文版名：数字图像处理)M. 北京：电子工业出版社， 2003. 3 Kherfi M L，Ziou D，Bernardi A. Image Retrieval From the World Wide Web：Issues，Techniques，and SystemsJ. ACM Computing Surveys，2004，36(1)：35-67. 4 章毓晋. 基于内容的视觉信息检索M. 北京：科学出版社，2003.5 庄越挺等著 . 网上多媒体信息分析与检索M. 北京：清华大学出版社，2002. 6 刘伟. 图像检索中若干问题的研究D. 杭州：浙江大学， 2007.7 王上飞，王煦法 . 图像情感检索研究的进展与展望J. 电路与系统学报，2005，10(4)： 102-110.8 王伟凝，余英林 . 图像的情感语义研究进展J. 电路与系统学报，2003，8(5)：101-109. 9 王伟凝，余英林，张剑超. 基于线条方向直方图的图像情感语义分类J. 计算机工程，2005，31(11)：7-9.4指导教师审阅意见指导教师(签字)： 年 月 日说明：本报告必须由承担毕业论文(设计)课题任务的学生在毕业论文(设计) 正式开始的第 1 周周五之前独立撰写完成，并交指导教师审阅。