1、谨以此论文献给我的恩师、父母及朋友 *基于迁移深度网络模型的自然图像分类学位论文答辩日期：_指导教师签字：_答辩委员会成员签字：_基于迁移深度网络模型的自然图像分类摘 要近几年，深度学习引起了机器学习领域的巨大变革，它被成功应用于人工智能领域众多的研究任务中，尤其在图像分类、语音识别等研究中取得了突破性成果,例如手写数字、人脸、目标物体识别等。2012 年深度卷积神经网络模型（AlexNet）赢得了 ImageNet 图像分类竞赛的冠军，表明了该网络能够学习得到图像有效的特征表示。图像有效的特征表示是完成图像分类任务的关键因素，如何提高分类准确率和执行效率是图像分类研究的重点和难点。本文以深度
2、学习算法和迁移学习理论为基础，以图像分类为目的开展研究工作。深度学习本质是一种对复杂函数实现尽可能逼近的特征学习方法，学习数据的有效特征表示。然而，大多数基于深度学习的深度网络模型一般需要较长的模型训练时间来提升分类性能。为了提高网络模型分类的效率，Donahue 等人提出了 DeCAF 网络模型，直接将提取 AlexNet 网络模型的深度激活特征泛化到新的视觉识别任务，获取了优异的识别准确度。然而，DeCAF 网络模型迁移泛化的特征表示的维度被简单限定为 4096，针对这一限制，本文以 AlexNet 网络模型为基础，通过设计低维映射层（Reducing）和高维映射层（Stretching）
3、 ，并结合迁移学习理论，提出了迁移深度网络模型学习方法 RS-DeCAF，以学习更适合分类任务的图像特征表示。RS-DeCAF 网络模型主要设计思想是对 AlexNet 网络模型中深度激活特征通过低维映射层学习图像紧致的特征表示，再经由高维映射学习得到易于图像分类的图像特征表示，从而提高目标数据集的分类准确率。本文通过在标准图像分类数据集上进行了大量的对比实验，实验结果表明 RS-DeCAF 网络模型不仅可以提升图像分类的准确率，在时间效率上也表现优越，节省了学习有效深度特征的运行时间和资源消耗。关键词：图像分类；特征学习； DeCAF；Reducing；StretchingIITransfe
4、rring Deep Network Model On Image ClassificationAbstractIn recent years, deep learning has brought about great revolution in field of machine learning. It has been successfully applied to various research tasks in field of artificial intelligence. In particular, it has achieved record-breaking resul
5、ts in image classification and speech recognition research, such as hand written digits, face, object recognition, etc. When the deep convolutional network model (AlexNet) won the ImageNet classification competition in 2012, it indicates that the network can learn effective image representation. Suc
6、h an effective image representation is a key factor to complete the task of image classification. How to improve classification accuracy and efficiency has become the emphasis and difficulty of the feature learning algorithm. The article carries out research work based on deep learning algorithm and
7、 transfer learning theory and for the purpose of image classification.The nature of deep learning is a feature learning method to approximate complex function as much as possible and finally achieve effective representation of the data. However, most of deep network models on deep learning generally
8、 require a longer training time to improve the classification performance. In order to improve the efficacy of the network model for classification, Donahue et al proposed DeCAF network model, which directly extracted deep activation feature from AlexNet network model and can be repurposed to novel
9、generic visual recognition tasks, with excellent recognition accuracy. Nevertheless, the dimensionality of DeCAF is simply fixed to a constant number 4096, for this restriction, based on transfer learning and AlexNet network model, the paper proposed transferring deep network model learning method c
10、alled, which designs a low-dimensional mapping layer (Reducing) and a high-dimensional mapping layer (Stretching) to discover the effective representations of data for classification tasks.The main idea of RS-DeCAF network model is to learn the compact image IIIfeature representation derived from th
11、e low-dimensional mapping of deep activation feature of AlexNet network model. The learnt image features is then transformed to a higher-dimensional space where images can be easier and more accurately classified. With many comparative experiments on the standard image classification datasets, it de
12、monstrates that the RS-DeCAF network model can not only improve the accuracy of image classification, but also show good performance on time efficiency, saving run-time and resource consumption for learning effective deep representation.Keywords： Image Classification; Feature Learning; DeCAF; Reduci
13、ng; Stretchingi目 录摘 要 .IABSTRACT.II1 绪论 .11.1 选题背景及研究意义 .11.2 图像分类的概述 .21.3 深度学习的概述 .41.4 特征学习和迁移学习 .71.4.1 特征学习 .71.4.2 迁移学习 .81.5 论文的主要创新内容及组织结构 .92 深度卷积网络模型结构及算法过程 .112.1 深度卷积神经网络 .112.1.1 局部感受野（Local Receptive Field） .122.1.2 权值共享 .132.1.3 卷积操作（Convolution） .142.1.4 池化操作（Pooling） .152.2 卷积神经网络算法
14、过程 .162.3 深度激活特征网络模型（DECAF） .182.4 深度卷积神经网络模型（ALEXNET） .192.4.1 AlexNet 网络模型的技术改进 .192.4.2 AlexNet 网络模型的体系架构 .222.5 小结 .233 迁移深度网络模型 .253.1 迁移深度网络模型设计 .253.1.1 低维映射层的设计 .263.1.2 高维映射层的设计 .30ii3.1.3 网络模型的优化设计 .333.2 RS-DECAF 框架结构和算法步骤 .353.3 分类器的设计 .373.3.1 线性可分的 SVM.383.3.2 线性不可分的 SVM.393.4 小结 .404
15、迁移深度网络模型实验验证及分析 .414.1 自然图像数据集介绍 .414.1.1 Caltech-101 数据集 .414.1.2 Caltech-UCSD Birds 200 数据集 .424.1.3 STL-10 数据集 .434.2 数据的预处理和模型参数的设定 .434.3 实验结果及分析 .444.3.1 Caltech-101 数据集实验结果及分析 .444.3.2 CUB-200 数据集实验结果及分析 .474.3.3 STL-10 数据集的实验结果及分析 .494.4 可视化特征表示空间 .514.5 小结 .525 总结与展望 .535.1 总结 .535.2 展望 .54
16、参考文献 .55致 谢 .59个人简历 .60发表的学术论文 .6111 绪论1.1 选题背景及研究意义在人工智能领域，深度学习开辟了机器学习的新篇章，使机器学习的多项研究取得了突破性进展。深度学习就是把原始数据使用一些简单而非线性的模型学习更高层次和更加抽象的表达，其本质是一种特征学习方法。对于图像分类，高层次特征表示不仅能够强化输入对象的辨别能力，也削弱了特征之间不相关的因素。深度学习能够通过多个模型组合来挖掘数据中深层的本质特征信息，不仅体现在人工智能领域，而且体现在机器人技术、信息化医疗、社会物理学和能源问题等领域。因此，深度学习成功被应用于科学、商业和政府等领域，具体表现于最先进的语
17、音识别 1-3、视觉对象分类 4-7、对象检测 8等应用；此外，深度学习在自然语言理解研究 9上也取得了很大进展，尤其是主题分类、情感分析、自动问答 10和语言翻译 11, 12；在医学方面，深度学习能够预测潜在药物分子的活性 13、分析粒子加速器数据 14, 15、重新构建大脑回路结构 16、以及预测基因表达和疾病受非编码 DNA 突变的影响 17, 18。贴近人们现实生活的如利用气象观测的卫星云图数据进行天气预报，通过植物的长势和颜色判断最近的浇水和施肥时间等，其中深度学习发挥着重要作用。上述研究多数是基于图像处理技术的支持，而图像分类是图像处理领域的一个重要研究方向，图像分类技术在图像分
18、类应用中发挥着关键作用，并在现代社会的各个方面表现出了强大的功能：从网页搜索到过滤社会网络内容，再到各种电子商务网站上推荐商品等；提供了强有力的技术支持。大量电子商务系统一般都通过基于深度学习算法的机器学习系统去识别图片中的物体；深度学习技术还可以将语音转变为文本信息，来匹配新闻元素，并依据用户兴趣向其提供职位或产品，选择出关系较密切的搜索结果进行过滤推荐；而且在消费品中（比如智能手机和摄像机）的指纹识别、人脸识别及车标识别等功能，基于深度学习算法的图像分类技术广泛地被运用。深度学习技术使得图像分类的现实意义得以充分体现。从简单的手写数字识别到自然图像中物体分类和文本识别，图像分类技术逐渐变得成熟。综上所述，基于深度学习算法的图像分类
