深度学习的亚健康识别算法的研究.doc

1、硕 士 学 位 论 文 中文题目： 深度学习的亚健康识别算法的研究 深度学习的亚健康识别算法的研究 Research on Deep Learning Identification Algorithm of Subhealth 专 业： 软 件 工 程 摘 要 I 摘 要 在工业生产过程中，由于复杂的工作环境和生产流程，故障时有发生，而 故障状态的发生并不是瞬时完成的，从正常状态到故障状态的转化是一个积累 的过程，而如果能提前预测故障的发生并进行及时的调控，对于工业生产的顺 利进行和经济效益的最大化尤为重要，因此研究故障的发生和预测成为故障诊 断领域的重点，并引起了很多专家学者的关注。 在阅读

2、分析了大量的深度学习和故障诊断方法后，针对传统的故障诊断特 征提取困难，诊断效果不理想，本文提出了一种基于改进深度学习的故障诊断 方法。本文采用层叠降噪自动编码机作为深度学习的网络结构，通过降噪编码 机可以对机械振动信号中大量的噪声进行过滤，有助于噪声特征的提取。而深 度学习中的非监督预训练方法可以自动的提取出数据中的深层特征，简化传统 人工提取的过程。针对深度学习过程中由于层数加深导致梯度消失的问题，本 文对层叠降噪自动编码机的结构进行改进，将浅层节点的表达和深层节点的表 达进行融合，避免了深层网络表达能力不如浅层网络的缺点，最后使用支持向 量机对提取出的深度特征进行分类处理。 针对机械设备

3、从“正常”状态到“故障”状态分类的局限性，本文通过引 入可靠性理论中的威布尔分布对滚动轴承的“亚健康”状态进行划分。由于同 一种轴承在同样工况下寿命分布不均匀，所以不仅需要对轴承进行整体预测， 也需要对轴承在线状态进行检测，本文利用深度学习的方法提出了一种轴承不 同时期状态划分的方法，对时间序列进行处理，将其应用于滚动轴承寿命预测。 针对不同的滚动轴承运行状态本文提出了一种基于统计概率时间序列处理方法， 通过对滚动承状态时间序列的预测可以有效的对当前轴承进行使用寿命的预测。 通过实验台数据对本文的方法进行验证，从实验对比结果表明，改进的层 叠降噪自动编码器对滚动轴承故障诊断具有良好的表现，对不

4、同滚动轴承不同 工况下的“亚健康”状态诊断也取得了很好的效果。 摘 要 II 关键词：深度学习，层叠降噪自动编码，健康度， “亚健康” Abstract II Abstract In the industrial production process, a fault will occurr due to the complexity of the work environment and production process, but the fault not occur instantaneously, from a normal to a fault condition is a cu

5、mulative process, it is important to the industrial production and the smooth progress of economic and benefit maximization if we can predict the fault in advance and in timely regulation. Therefore, the research of fault occurrence and prediction becomes a focus in the field of fault diagnosis, and

6、 caused the attention of many experts and scholars. After reading a large number of deep learning and methods of fault diagnosis, the traditional fault diagnosis feature extraction difficult diagnosis result is not satisfactory, so we propose a method of fault diagnosis based on improved deep learni

7、ng. In this paper, the stacked denoising autoencoder which can be filtered the noise of a large number of mechanical vibration signals is used for deep learning structure to extract the characteristics of the noise. The depth of the data can be extracted automatically by the unsupervised pre-train m

8、ethod, which greatly simplifies the process of traditional manual extraction. In this paper, a method is proposed to improve the stacked denoising autoencoder to get ride of the the gradient go away with deeper layers. To avoid the deep network expression ability than shallow network faults, combine

9、 the shallow and deep nodes is proposed and finally the use of support vector machine to extract the depth feature for classification. In this paper, for machinery and equipment from the “normal“ state to the “failure“ state classification limitations , introduce the reliability theory of Weibull Di

10、stribution to division of the subhealth state of rolling bearing .Due to the same bearing under the same operating lifetime distribution is not uniform, so its not only need to the overall prediction of bearing, but also need to test the online status of bearing, the deep learning of the method is p

11、roposed to divison a bearing different period state division method, after smoothing of time series, it is used in rolling bearing life prediction. In view of the different running state of rolling bearings, this Abstract III paper put forward a based on statistical probability online prediction met

12、hod, the rolling bearing condition time series prediction can be effective to the bearing of the service life prediction. Through the experimental data of this method verify from the comparison of the experimental results show that, improved stacked denoising autoencoder for rolling bearing fault di

13、agnosis has good performance and different rolling bearings under different working conditions of the subhealth state diagnosis also achieved good results. Key words: Deep Learning, Improved Stack Denoising Autoencoder, Health Degree, Subhealth 目录 IV 目 录 第 1 章 绪论 .1 1.1 研究背景和研究意义 .1 1.2 国内外研究现状 .3 1

14、.2.1 滚动轴承故障诊断的研究现状 3 1.2.2 “亚健康”理论的研究现状及发展 .5 1.3 论文的主要研究工作 .6 1.4 论文的结构安排 .7 第 2 章 机器学习基础理论 .8 2.1 BP 神经网络 .8 2.1.1 BP 神经网络结构 .8 2.1.2 BP 神经网络的学习步骤 .9 2.1.3 BP 神经网络的优缺点 11 2.2 深度学习 11 2.2.1 深度学习的基本思想 .12 2.2.2 深度学习常用方法 .14 2.2.3 深度学习优点 .15 2.3 支持向量机 16 2.3.1 最优分类面 17 2.3.2 广义最优分类面 18 2.3.3 支持向量回归机

15、.19 2.3.4 核函数 21 2.3.5 支持向量机优点 22 2.4 本章小结 .22 第 3 章 基于深度学习的故障诊断的研究 23 目录 V 3.1 自动编码器原理 23 3.1.1 目标函数及推导 24 3.1.2 运行步骤 26 3.2 层叠降噪自动编码 26 3.3 改进层叠降噪自动编码器 .28 3.3.1 对隐藏层的改进 28 3.3.2 对结构的改进 29 3.3.3 改进 SDA-SVM 训练流程 .29 3.4 实验结果及分析 32 3.4.1 轴承数据预处理 .33 3.4.2 参数确定 .35 3.4.3 隐层特征的提取 .36 3.4.4 实验结果分析 .40

16、3.5 本章小结 40 第 4 章 滚动轴承的“亚健康”识别 42 4.1 “亚健康”状态 42 4.1.1 健康度的定义 42 4.1.2 亚健康状态的划分 .43 4.2 “亚健康”识别方法的提出 46 4.2.1 已有剩余寿命预测方法 46 4.2.2 提出“亚健康”识别方法 48 4.2.3 预测剩余寿命改进策略 49 4.3 本章小结 50 第 5 章 实验及性能评估 51 5.1“亚健康”状态诊断 .51 5.1.1 滚动轴承特征对比 .51 5.1.2 剩余寿命预测 .53 目录 VI 5.1.3 实验结果分析 56 5.2 本章小结 .57 第 6 章 总结和展望 58 6.1

17、 总结 58 6.2 展望 58 致 谢 .60 参考文献 .61 攻读学位期间发表的学术论文及参加科研情况 .64 图表目录 VII 图 表 目 录 图目录 图 1-1“健康”到“故障”的状态转移示意图 .2 图 2-1 BP 神经网络结构模型图 9 图 2-2 深度学习基本结构 .13 图 2-3 最优分类线示意图 .16 图 3-1 自动编码器 .23 图 3-2 降噪自动编码器 .27 图 3-3 层叠降噪自动编码器结构图 .28 图 3-4 增加融合层的层叠降噪自动编码器 .28 图 3-5 SDA-SVM 降噪自动编码器 29 图 3-6 改进算法流程图 .31 图 3-7 四种状

18、态下驱动端振动信号 .33 图 3-8 傅里叶变换后的四种驱动端振动信号 .34 图 3-9 隐藏层数对比 .35 图 3-10 隐藏层节点数对比 36 图 3-11 PCA 进行可视化 .39 图 3-12 算法对比图 40 图 4-1 形状参数对故障率的影响 .45 图 4-2 轴承健康度划分 .46 图 4-3 “亚健康”诊断方法 .49 图 4-4 健康度概率分布 .50 图 5-1 滚动轴承全寿命轴承振动信号（外圈故障） .51 图 5-2 滚动轴承全寿命均方根 .52 图 5-3 滚动轴承全寿命峰度 .52 图 5-4 隐藏层第一主成分特征 .53 图表目录 VIII 图 5-5

19、全寿命健康度分布图 .54 图 5-6 窗口值对选取 .55 图 5-7 剩余寿命预测 .56 表目录 表 3-1 滚动轴承数据 32 表 3-2 预训练阶段故障分类准确率 37 表 3-3 微调过后故障分类准确率 37 表 3-4 经过融合后故障分类准确率 38 表 4-1 健康度和使用寿命对应关系 43 表 4-2 威布尔分布函数 44 表 4-3 威布尔故障函数参数选取 45 表 5-1 故障轴承实验数据 51 表 5-2 全寿命健康度分类准确率 54 表 5-3 平均剩余寿命预测与窗口值关系 55 表 5-4 “亚健康”预测结果对比 57 第 1 章 绪论 1 第 1 章 绪论 1.1

20、 研究背景和研究意义 在一百多年来的工业发展过程中，随着工业自动化程度的普及，越来越多 的工业化过程投入到了精细的自动化控制之中，整个系统的精确性和复杂性也 因此倍增，而且工业生产环境大多处在相对恶劣的环境，不同的环境外部干扰， 加上庞杂和繁复的控制系统难免会有故障的发生，这些故障的发生不仅会影响 工业生产的进行，而且严重时威胁人和财产的安全。传统故障处理的方法是引 进设备检测诊断技术，当故障出现时检测和诊断故障，并停止机器的运作，大 大提高了工业生产中的安全，并取得了良好的效果。但是当故障发生时难免会 出现停机检测维修，会影响生产的进行，对于一些大型工业生产来说停机便意 味着大量的经济损失，

21、而且停机检测不一定能够准确的排出所有机器异常。因 此，如果能在生产中既保证生产的顺利进行，又能排除故障，这对于工业生产 具有长远的意义，在这种背景下自愈调控技术应运而生，自愈调控技术不同于 传统设备诊断和维修技术，它使机器具有自感知、自诊断、自恢复的功能，从 而完全摆脱人的参与。 实际上故障并不是瞬间发生的，而是经过长期积累发生质变的一个过程， 这个过程因为介于“健康”状态和“故障”状态，所以被称为“亚健康”状态， 如果在整个故障发生的萌芽阶段抑制“亚健康”状态的产生，或者当机器处在 “亚健康”状态之时及时的对机器进行调控，避免机器向“故障”状态的转移， 那么便可以极大的增加机器的使用寿命，同

22、时避免故障的发生，这也是自愈控 制研究的主要课题之一。 对于机械设备的状态转化关系如图 1-1 所示：: 第 1 章 绪论 2 图 1-1“健康”到“故障”的状态转移示意图 针对机械设备的故障一般可以从三个方面入手来进行自愈调控： 1） 防止设备从“健康”状态逐渐到“亚健康” 状态的过度。 2） 从“亚健康 ”状态逐渐恢复到正常状态。 3） 从“故障 ”状态逐渐恢复到正常状态。 自愈调控算法依赖于诊断技术的发展，在自愈调控技术里，故障诊断技术 可以使机械设备从“ 故障”状态转移到健康状态，而 “亚健康”诊断技术可以使机 械设备从“亚健康 ”状态转为健康状态，所以作为自愈调控里极为重要的故障诊

23、断技术决定着自愈调控算法的优劣，而“亚健康” 状态的诊断也成为自愈调控算 法的关键技术。 在工业生产中广泛的使用了旋转机械元件，滚动轴承作为旋转机械元件的 核心部件，也是机械设备中常用的元件之一，其运行状态对整个机械设备有着 巨大的影响 1。而且滚动轴承的故障在旋转机械设备故障中经常发生，据统计 45%的旋转机械故障是由于滚动轴承故障所引起 2。其原因是因为在机械设备 中往往受到工作条件恶劣的影响，而且在机械设备中往往要承担高负荷工作， 所以针对滚动轴承进行故障诊断一直以来是故障诊断中的研究热点。 对于滚动轴承来说，其工作寿命随机性很大，很多滚动轴承远远未达到设 计寿命变发生损坏、故障，必然影

24、响正常的工业生产；而有一些则远远超出预 第 1 章 绪论 3 设寿命而继续工作，这一不确定性将会给工业生产带来严重的生产隐患，如果 能及时的诊断故障的发生或者检测出滚动轴承的“亚健康” 状态，预防故障的发 生、及时组织故障带来的事故影响对于工业生产来说意义重大。 1.2 国内外研究现状 1.2.1 滚动轴承故障诊断的研究现状 对于滚动轴承的故障诊断研究已经有很长的一段历史，许多国内外学者长 期专注于滚动轴承故障诊断的研究并取得了丰厚的研究成果。在 20 世纪 60 年 代左右国外开始了滚动轴承故障诊断的研究，在后来几十年里，大量的成熟方 法理论被提出应用于滚动轴承的故障诊断，其诊断的准确率也不

25、断提高。对于 滚动轴承的故障诊断，其发展总共经历了以下几个阶段 3,4。 （1） 频谱分析技术 在 20 世纪 60 年代初期，出现了快速傅里叶变换（FastFourier Transform，FFT）技术，研究学者将其应用到滚动轴承振动频谱分析之中，通 过故障轴承产生的振动信号的特征频率和正常轴承来进行分析对比，来判断是 否发生故障。 （2） 冲击脉冲技术 20 世纪 60 年代末，瑞典的 SPM 公司使用冲击脉冲计来进行轴承故障检测， 通过检测的脉冲最大幅值可以对轴承的初期损伤故障进行很好的诊断。 （3） 共振解调技术 共振解调技术的出现极大的提高了轴承初期损伤故障诊断的正确率，而且 对于

26、故障出现的地点和故障程度都能准确的进行判断。 （4） 使用计算机来监控轴承运行状态和故障诊断。 随着计算机硬件和软件的高速发展，在 20 世纪末人们开始以计算机为中 心来进行滚动轴承的故障诊断，有效的利用了计算机的计算能力，在轴承故障 检测中有很大的提高。 目前，研究轴承故障的基本理论已经相对成熟，其研究方向为以下几个方 面： （1） 信号处理 第 1 章 绪论 4 信号处理是滚动轴承故障诊断中使用最多的方法，其准确性也比较高。在 设备运行过程中震动、压力、温度、噪声等不同的信号会包含设备的隐藏特征， 利用信号处理技术，将信号中有用的特征进行选取，可以很好的利用到故障诊 断中来。信号处理分为时

27、域分析和频域分析，其中时域分析主要分析时域波形 的峰度、偏度、峭度、脉冲因数等，频域分析包括小波变换、傅里叶变换和希 尔伯特变换等方法。2008 年 Al-RaheemKF 利用神经网络对轴承振动信号用小 波变换提取出的特征值进行分类，取得了较好的效果 5。2011 年学者蔡艳萍针 对滚动轴承内圈故障，结合谱峭度和经验模式分解的方法对包络谱进行改进 6。 2013 年学者马伦通过 Morlet 小波变换对信号进行降噪处理，利用尺度相关能量 分布来提取冲击特征的成分，从而对轴承故障初期的信号进行提取，为轴承故 障诊断提供一种有效的途径 7。 （2） 粗糙集诊断 粗糙集（Rough set，RS）

28、是针对很多领域中不确定和模糊类问题而提出的 一种数学方法，由波兰学者 Pawlak 在 1982 年首先提出 8。粗糙集理论的思想 是通过原始数据提炼出数据内部潜在的规律，由于不需要先验知识和理论推导， 所以其对不确定性问题的处理比较客观。通过对不完整数据之间关系的解释， 可以发现对象和属性之间的依赖关系，去除数据之中的冗余 9。2010 年中国矿 业大学学者闵勇将粗糙集理论应用到滚动轴承的故障诊断之中，利用粗糙集中 可辨识矩阵来将滚动轴承的故障信号进行属性约减，从而方便了诊断信号的处 理 10。2012 年学者陈佳运用粗糙集理论对敏感特征进行预处理，通过神经网络 进行滚动轴承的故障诊断 11

29、。 （3） 机器学习 机器学习作为近年来新兴的一门学科，包含了概率论、统计学等多门学科， 可以通过大量的数据对数据的规律进行自动的建模。同样机器学习也是故障诊 断领域里新兴的方法，在不建立数学模型的情况下可以利用历史数据训练来对 滚动轴承设备进行故障诊断。机器学习方法主要包括人工神经网络、支持向量 机和深度学习等理论。2008 年大连理工学者于婷婷利用 BP 神经网络的强非线 性能力来处理滚动轴承的振动信号，得出了很好的诊断效果 12。2014 年华中农 业大学学者姜涛改进了小波包快速算法解决了小波分析中容易产生频率混淆的 问题，使噪声信号和振动的故障信号进行分离，通过权值和学习率来改进小波

30、神经网络，使其收敛速度和准确率有所提升 13。2015 年 Jaouher Ben Ali 提出了 第 1 章 绪论 5 一种结合 Weibull 分布和神经网络的方法来诊断滚动轴承，结合 SFAM 网络对 滚动轴承进行寿命预测，定义了 6 种滚动轴承的退化状态并且该方法推广到其 他机械设备 14。 1.2.2 “亚健康”理论的研究现状及发展 故障诊断技术受到越来越多的学者关注和研究，在当前取得了一定的发展， 但依然存在了一些问题，首先，故障诊断技术主要研究各种设备对象、故障机 理、故障检测等，只是着眼于故障本身，并没有对故障可能带来的后果及时处 理，对故障发生的预防也没有讨论。其次，容错控制

31、领域大多是针对控制器、 传感器或者执行器进行研究，对于被控对象故障的研究比较少，而大多数故障 的发生都发生在被控对象上。因此，这些故障诊断领域里并没有完善的问题亟 需一种新的理论进行扩展。 “亚健康”的概念起源于现代医学领域，在医学中 “亚健康”被定义为身体 处于介于健康状态和疾病状态之间的状态。这一概念被现代自愈调控技术所引 用，被应用于机械设备的诊断中，通过大量的工程实践，发现装备系统中存在 可以“自愈”的状态，当设备处于这种“自愈”状态可以通过调控、维修等方 法改变设备向故障状态的趋势，并可以返回健康状态，对于这种可恢复的故障 状态的预防和恢复对装备系统工作寿命的延长具有巨大的影响。 在

32、国际上外学术界早已认识到故障预防对装备正常运行的重要影响 9,10， 提出了复杂装备系统的健康评估理论。美国政府和高校已经对“亚健康”状态 开始了广泛的研究，2001 年，美国康奈星大学和密西根大学共同成立了“智能 维护系统（IMS ）中心” ，通过对电子商务工具和 Web 驱动的智能代理进行整 合，从而获得高质量解决方案。2010 年巴西学者 Laurentys C A 根据自然免疫 细胞的抗体机制，提出了基于危险模型的人工免疫系统，从而成功的提高了故 障检测的准确率 15。2013 年，意大利学者在电动汽车的感应电机中引入了容错 控制的概念，并取得了不错的效果 16。 2005 年，北京化

33、工大学工程院院士高金吉率先提出了“装备系统故障自愈 原理”的学术概念，重点介绍了故障消除和预防为目标的装备系统的自愈调控 原理，为自愈调控打下了理论基础 17。2006 年，王维民、高金吉通过分析研究 轴位移故障特征，提出了一种诊断轴位移故障并且在线预测的方法，成功在离 第 1 章 绪论 6 心压缩机的轴位移故障中运用自愈调控系统，完成了对卧螺离心机故障自愈的 调控 18。2010 年，北京化工大学李燕等学者对常规注液式平衡装置进行了研究， 利用连续注液式自动平衡系统客服了由于腔体内液体因为排出而失去平衡能力 的问题，从而完成对注液式平衡装置的自愈调控 19。2013 年，辽宁大学杨永波 基于

34、模糊集理论提出了装备健康度的概念，对滚动轴承的故障状况进行等级标 定，从而得到装备的亚健康状态 20。 1.3 论文的主要研究工作 目前，自愈理论尚处在研究的初级阶段，还未有成熟的理论系统和完善统 一的概念，而自愈调控技术又可以分为诊断技术和调控技术，通过对自愈调控 技术的深入研究，本文针对诊断过程中特征提取存在的不足进行了改进，并提 出了一种“亚健康 ”度量的方法应用于自愈调控技术，本文的主要研究工作可以 归纳如下： （1）滚动轴承振动信号中包含了大量复杂的特征，这些特征之间也有着复 杂的内在联系，依靠人的经验很难进行处理，同时由于特征样本的数量巨大， 如果不进行降维处理对模型运算的要求也非

35、常高。深度学习理论是模式识别和 机器学习领域最新的研究成果，深度学习理论已经在模式识别和机器学习领域 取得了丰厚的成果，因此本文提出了一种基于深度学习的方法对振动信号进行 特征提取，利用深度学习对复杂的非线性数据的学习能力，提取出振动信号中 的深度特征，通过对隐藏特征的融合，使用 SVM 进行进行分类的结果优于原 始深度学习方法的准确率。 （2）工业生产中滚动轴承处于复杂环境中，其振动信号往往包含着噪音信 号，对诊断效果产生影响，本文利用层叠降噪自动编码机对噪音信号进行处理， 可以有效的消除噪音信号对分类效果的影响。 （3）在自愈调控技术中需要对“亚健康” 状态进行及时的监控并通过降低负 载、

36、备机替换等方式进行自愈调控，传统的健康度概念并不能很好的反映自愈 调控的切入时机，本文针对这一问题提出了一种新的基于滚动轴承剩余寿命的 健康度量方法，同时，根据韦伯故障函数对“亚健康”状态进行划分。 （4）针对滚动轴承寿命分布的特点，利用改进降噪自动编码机对系统当前 状态进行检测，通过健康度概率统计来对轴承剩余寿命进行评估，最后求得的 第 1 章 绪论 7 剩余寿命通过韦伯曲线进行亚健康状态的划分。 1.4 论文的结构安排 本文共分六个章进行阐述，各章主要内容如下： 1) 第一章“绪论” 。首先介绍了论文的研究背景和意义，然后详细阐述了 滚动轴承故障诊断理论的发展史以及主要的研究方向，同时介绍

37、了“亚健康” 的研究现状及发展动态，最后介绍了本论文主要研究内容和结构安排。 2) 第二章“机器学习基础理论” 。作为论文的理论支撑，本章详细的介绍 了深度学习算法思想、常用的学习方法及实现步骤，同时对支持向量机相关理 论做了介绍。 3) 第三章“基于深度学习的故障诊断的研究” 。详细介绍了深度学习中的 层叠降噪自动编码器，并对其改进应用到轴承故障诊断中，最后通过实验得出 算法的可行性。 4) 第四章“滚动轴承的亚健康诊断” 。首先提出了基于威布尔分布和剩余 寿命的“亚健康 ”状态划分，接着提出一种基于深度学习划分轴承全寿命状态和 寿命预测的算法，通过健康度概率统计进行历史数据的处理，使其更好

38、的预测 滚动轴承在线状态。 5) 第五章“实验及性能评估” 。首先说明实验的准备工作和软硬件设备， 随后在计算机上进行实验的仿真，并在此基础上进行实验对比和分析。 6) 第六章“总结与展望” ，总结全文，并说明下一步的研究方向。 第 2 章 机器学习基础理论 8 第 2 章 机器学习基础理论 本章详细介绍了 BP 神经网络、支持向量机和深度学习方法，为第三章、 第四章算法改进提供了理论基础。 2.1 BP 神经网络 人工神经网络（Artificial Neural Network，ANN）是机器学习领域的一种 基本方法，神经学家通过观察生物大脑神经元运行过程，通过模仿神经元结构， 将外界进行输

39、入，通过非线性变换将信号输入到其他神经元，组成人工神经网 络。这些神经元保持层次结构，通过信号激励按照一定的规律进行权值的更新， 按照一定要求对输出进行校正从而对输入和输出模式进行学习。神经网络具有 强大的学习能力和泛化能力，只需要给出输入和输出便可以自动的对模型内部 关系进行学习，无需了解其内部结构，虽然其机理无法进行有效的论证，但是 其良好的学习能力和有效的实际引用收到了越来越多学者的重视。 在人工神经网络提出的很长时间里，由于隐藏层权值的调整困难一直阻碍 了人工神经网络的发展，直到 1985 年，Rumelhart 和 McClelland 提出了误差反 向传播算法 21，即 BP（Ba

40、ck Propagation）算法，成功解决了求解隐藏层权重 的问题。由于 BP 神经网络的易用性和简洁性，使其成为在神经网络领域里应 用最广一种神经网络，据统计大约 85%的神经网络都是基于 BP 神经网络或其 改进结构，它被广泛的应用于模式识别、故障分析、图像识别等领域 22。 2.1.1 BP 神经网络结构 BP 神经网络和其他神经网络结构相似，通常包含输入层、隐藏层和输出层， 其中隐藏层可以是一层或者多层，每层的神经元之间没有连接，每层的神经元 和后一层各神经元相互连接，和其他神经网络不同之处在于 BP 神经网络神经 元的激活函数通常为线性函数，通常使用 Sigmoid 函数或者双曲正

41、切函数。图 2-1 所示为具有单隐藏层的 BP 神经网络，圆圈表示神经元： 第 2 章 机器学习基础理论 9 图 2-1 BP 神经网络结构模型图 BP 神经网络由于具有强大的非线性映射能力，Kolmogorov 定理已经充分 证明 23，对于已经充分学习的三层 BP 神经网络，可以实现任意函数的映射， 但这并不表明多层的神经网络过分冗余，对于某些问题来说，构造单层神经网 络需要大量的隐藏层节点，而多层神经网络只用很少的隐藏层节点就可以解决。 对于输入层节点数和输出层节点数可以通过具体问题的表述进行确定；对 于隐藏层节点数的确定和初始值的确定目前一直是神经网络进行构建比较相对 困难的问题，还没

42、有统一的标准进行确定，一般来说主要是通过试探法通过人 工试凑来获取一个适用于某一问题的网络结构。 2.1.2 BP 神经网络的学习步骤 当对 BP 神经网络模型结构进行确定以后，需要进行大量的输入数据和输 出数据进行有监督的训练，不断调整 BP 神经网络的权值和偏置，最终达到一 定的精度要求能够反映出输出数据和输入数据的一定映射关系。通过如图 2-1 所示的三层 BP 神经网络结构来描述其算法的学习步骤，BP 神经网络通常使用 梯度下降算法对权值进行更新，使用 Sigmoid 为激励函数，本文使用梯度下降 算法和 Sigmoid 激励函数对 BP 神经网络的实现步骤进行表述 24。 首先设样本

43、个数为 ，整个 BP 神经网络的输入向量为 ，输k ),.(21nxx 出向量为 ，期望输出为 。对于具有 个隐含层),.(21myy ),.(21md 结点的隐含层来说，输入向量为 ，输出向量为,iniihh 第 2 章 机器学习基础理论 10 ，对于输入层与隐含层结点的权值为 ，隐含层与输出层的),.(21onohh ikw 权值为 w （1）首先进行 BP 神经网络的权值初始化，将各层权值 初始化为一个非 零随机数，范围为 。设定所需进行的最大迭代次数 以及梯度下降算法），（ 10M 指定的学习率 （2）给定训练样本 和期望输出 。),.(21nxx),.(21md （3）在正向传播过程

44、中，计算隐含层结点的输入 和输出 并计算khi (kho 输出层输入 和输出 ，其中计算公式如下：)(kyio)kyo （2.1） pfkhbxwhihoniii ,.21),()(,( （2.2） ph ioooio qkyfky ,.),()(,)()( （4）利用误差函数 计算网络实际输出和期望输出 qokde122 的误差，再利用偏导数求得： （2.3）)(1)()()(o kyykoo （5）在误差的反向传播中得到误差函数对于隐藏层节点输出的偏导数： （2.4） )()()()(1 khwkoohqoh （6）将步骤（4）和步骤（5）对网络权值和偏置进行调整： （2.5）)()()(

45、 1 kkohNhoNho （2.6）b （7）同时输入向量 和步骤（5）所得对网络权值和偏置进行调整：)(kxi （2.7）)()( 1 kxkwihNhoNih （2.8）b （8）通过以上几步可以得出误差为： （2.9） mkqookydE12)(2 第 2 章 机器学习基础理论 11 （9）通过判断训练数据的全局误差是否达到要求或者训练次数达到给定 最大次数时，训练结束；否则返回步骤（2） ，对训练样本进入下一轮的训练。 2.1.3 BP 神经网络的优缺点 BP 神经网络在传统神经网络发展而来，其具有如下的优点 25： （1）三层的 BP 神经网络即可以实现任意非线性函数的逼近，使其适

46、用于 求解复杂内部机制的问题。 （2）BP 神经网络通过训练阶段可以对数据输入和输入进行自适应学习， 学习数据中内部联系。 （3）BP 神经网络有着较强的范化能力，可以对未知数据进行较好的分类。 随着 BP 神经网络应用范围逐渐扩大，其暴露的缺点也有很多： （1）BP 神经网络使用随机算法对权值进行初始化，而 BP 神经网络的权 值求解问题可以看做梯度下降算法，这些随机初始化的权值对梯度下降算法搜 索全局最优造成影响，导致网络陷入局部最小值，使结果受到影响。 （2）对于复杂问题梯度下降算法求解目标函数非常缓慢，导致了其收敛 速度的降低。 （3）BP 神经网络结构选择不同导致不同问题的效果也不相

47、同，至今还没 有一个统一的理论对网络的结构进行选择，往往通过人工试凑等方法进行选择。 2.2 深度学习 传统的机器学习方法基于神经网络的构建，通过构建浅层的神经网络虽然 取得了不错的应用效果，但是面对维数过多、复杂数据的表征却力不从心，而 对于构建一个深层次的网络来说，随着层数的不断加深不仅意味着大量的参数 调优而且面临着梯度消失的风险。2006 年多伦多大学的 Hinton 等人在科学 杂志上提出了一种新的构建深度神经网络的方法 26，即深度学习神经网络 （Deep Learning Neural Network，DLNN） 。深度学习和传统的深层次的神经 网络不同之处在于它克服了构建多层神

48、经网络而带来的深层误差反馈的削减， 第 2 章 机器学习基础理论 12 从而能够通过训练构造一个深层的神经网络来逼近复杂的函数，如今它已经被 广泛的应用到图像处理、模式识别和自然语言处理等领域。 2.2.1 深度学习的基本思想 神经科学家通过对哺乳动物大脑进行研究，发现了动物大脑表达信息的方 式，大脑并不是直接对外部信息进行提取，而是将外部信息通过一个复杂的网 络神经进行提取然后再进行处理。研究人员收到启发将这种思想应用于深度学 习的研究。 深度学习作为机器学习的一个子方向，其目的是通过多层的非线性的变换 对数据进行抽象的表达 27。在处理分类问题时需要提取研究对象的特征向量进 行特征的表达，

49、例如文本中需要提取关键词，图像中常常用像素进行表达，特 征向量的选取往往决定最终分类结果的好坏，如果特征向量过多会影响分类器 的分类效率，如果特征向量过少，那么对象的特征不能充分的表达，准确率会 大大降低。然而，如果利用人工进行特征向量的选取将会变得非常的困难，一 方面依靠人的经验会有很大的不确定性，而且需要花费大量的时间。 深度学习使用了分层的思想，将复杂的信号进行逐层提取，假设一个具有 层的网络系统 ，它的输入和输入分别是 和 ，则可以表示成：n),.(21nSIO （2.10）SIn.21 如果输出 等于输入 ，那么可以说经过这个系统变化之后没有任何的信息损O 失，即在任何一层 都是原有信息 的另一种表示，这种分层抽象的结构通常nSI 进行逐层的训练，在保证原始信息充分表达的情况下进行层层推进，其基于无 监督的学习方法可以方便的获得数据的隐含特征，这也是深度学习成为机器学 习研究热门的原因之一 28。 深度学习是指包括至少一个隐含层的网络结构，深度学习基于传统的浅层 神经网络，但是与浅层网络不同的是其提供了更多的隐藏层，对复杂非线性系 统提供更高层次的