BP神经网络训练算法改进初探【毕业论文】.doc

1、 本科 毕业 论文 (设计 ) （二零 届） BP 神经网络训练算法改进初探 所在学院 专业班级 电气工程及其自动化 学生姓名 学号 指导教师 职称 完成日期 年 月 摘 要 神经网络近十年的飞速发展，激起了不同学科与领域的科学家的浓厚兴趣。本文概述了 BP 神经网络的原理、特点、改进算法、实际中的 应用以及其发展现状。传统的 BP 算法也存在诸如收敛速度慢，易陷入局部最小点以及编程困难，计算量大等问题。 本文主要研究传统 BP 神经网络的基本原理，并对传统 BP 算法进行改进，将改进后的 BP 神经网络应用于柴油机的故障诊断问题中。 本文的主要工作和取得的研究成果如下： 1.研究 BP 神经

2、网络的结构和基本原理，并对传统 BP 算法进行改进。 2.概述了 BP 神经网络的改进算法和介绍 BP神经网络的训练函数。 3.详细讨论了柴油机的故障诊断问题，将改进后的 BP 神经网络应用于柴油机的故障诊断问题中，并用 Matlab 软件实现数据仿真 、故障分析实验。 最后总结了改进的 BP 算法中有待解决的问题和未来发展的方向。 关键词： BP 神经网络；优化和改进；训练函数； MATLAB; 故障诊断 浙江万里学院本科毕业论文 - 2 - Abstract With the rapid development of neural network, electrical science a

3、nd information science have changed enormously. In this paper, the principle of BP neural network, its characteristics, improved algorithm, the practical application and its development status are introduced. There are many problems of the traditional BP algorithm, such as slow convergence and easy

4、to fall into local minimum points, and programming difficulties, large computation and other issues. This paper studies the traditional basic principles of BP neural network, and improved the traditional BP algorithm, the improved BP neural network used in engine fault diagnosis. The main work and t

5、he research results are as follows: (1) The structure of BP neural network and the basic principles, and improve the BP algorithm. (2) Overview of the improve algorithm of BP neutral network and introduction of the training function of BP neural network. (3)Discussed in detail the problem of diesel

6、engine fault diagnosis, the improved BP neural network used in diesel engine fault diagnosis, and data simulation using MATLAB software, the simulation experiment. Finally, the problem of improved BP algorithm and future development are concluded. Key Word: BP neural network； Optimization and improv

7、ement Training function; MATLAB； Fault diagnosis - - 1 - - 目 录 1 引言 . 2 1.1 选题的背景和意义 . 2 1.2 设计任务 . 2 2 BP 神经网络的基本算法 . 4 2.1 BP 神经网络原理 . 4 2.2 BP 神经网络概述 . 4 2.2.1 BP 神经网络结构 . 4 2.2.2 传统 BP 网络算法 . 5 2.2.3 MATLAB 中常用的 BP 网络函数 . 7 3 BP 算法的改进 . 9 3.1 BP 算法的不足 . 9 3.2 改进的 BP 算法 . 9 3.2.1 利用动量法改进网络 . 9 3.

8、2.2 自适应调整参数的改进方法 . 10 3.2.3 Levenberg-Marquardt 优化方法 . 10 3.3 MATLAB 中 BP 神经网络的构建 . 10 3.4 BP 神经网络的训练 . 11 4 基于改进 BP 神经网络的故障诊断方法 . 15 4.1 问题描述 . 15 4.1.1 问题背景 . 15 4.1.2 柴油机故障类型 . 16 4.2 基于 BP 神经网络的柴油机故障诊断 . 16 4.2.1 故障诊断原理 . 16 4.2.2 故障诊断算法实现 . 17 4.3 仿真实验及结果分析 . 19 5 结论 . 21 致 谢 .错误 !未定义书签。 参考文献 .

9、 22 附录一 BP 程序代码 . 24 - 2 - 1 引言 1.1 选题的背景和意义 随着新的控制思路和手段的不断涌现，人工神经网络作为一种新型的信息获取、描述和处理方式，正在逐渐引起不同学科和领域的科学家的注意。神经网络有其自适应，自学习，并行处理等特点。它被广泛应用于 模式识别、信号处理和自动控制等领域 1。目前，人们研究最为广泛最具代表行的网络是 BP(Back Propagation)神经网络，它具有分布式的信息存储方式，大规模并行处理，自学习和自适应性、较强的鲁棒性和容错性等特点。当前， BP 神经网络主要应用于模式识别、图像处理、信息处理、故障检测、企业管理、市场分析等领域。而

10、BP神经网路采用的是经典的 BP 算法。 BP算法也是目前比较流行的神经网络学习方法，是能实现映射变换的前馈型网络战中最常用的一类网络，是一种典型的误差修正方法。 然而，传统的 BP 算法存在着一些问题， 比如学习过程收敛速度慢，网络训练容易陷入局部最小、接近最优时易出现波动和震荡现象、网路的结构难以确定以及编程困难，计算量大等等。基于这些，通过对 BP 算法原理的深入分析与研究，找出存在这些问题的原因，进而提出一种改进算法就显得极为重要。 1.2 设计任务 本设计主要在深入研究 BP 神经网络的基础上，研究其训练算法。针对标准的 BP 神经网路的训练算法中存在的一些问题，对其进行改进，以达到

11、优化神经网络的目的。并且，本设计中用到了 MATLAB 这一软件，要求熟悉 MATLAB 的使用，通过 MATLAB 对所改进算法进行仿真，比 较改进前后的算法。 主要研究工作如下： （ 1）深入研究 BP 神经网络。分析和比较各种算法的特点以及其函数的参数形式。研究其各自适用的网络。 （ 2）研究当前传统 BP 神经网络的训练算法存在的一些问题。比如收敛速度慢、容易陷入局部最小、网路的结构难以确定等等。透彻分析这些问题产生的原- 3 - 因。 （ 3）针对 BP 算法中存在的问题，提出其改进方法。 BP 算法的改进主要有两种途径，一种是采用启发式学习方法，如附加动量法、自适应学习率法等；另一

12、种是采用数字优化技术，共扼梯度法、牛顿法、 Levenberg-Marquardt 法等。 （ 4）利用改进 BP 算法对柴油机故障诊断问题进行仿真实验，与传统的 BP算法相比，改进后的算法能取得更好的诊断效果。 - 4 - 2 BP 神经网络的基本算法 2.1 BP 神经网络原理 BP 网络是一种具有三层或三层以上神经元的多层前向网络 2。它是一个由输入层，输出层和中间隐含层三个神经元层次构成的模型，称 BP 模型，各层次的神经元形成全互连连接，同层次内的神经元间没有连接。当把一对训练模式提供给网络后，网络先进行输入模式的正向传播过程，输入模式从输入层经隐含层处理向输出层传播，并在输出层的各

13、神经元获得网络的输出 。 当网络输出与期望的目标输出模式之间的误差大于目标误差时，网络训练转入误差的反向传播过程，网络误差按原来正向传播的连接路径返回，网络训练按误差对权值的最速下降法，从输出层经隐含层修正各个神经元的权值，最后回到输入层，然后，再进行输入模式的正向传播过程。这两个传播过程在网络中反复运行，使网络误差不断减小，从而网络对输入模式的响应的正确率也不断提高，当网络误差不大于目标误差时，网络训练结束。 2.2 BP 神经网络概述 2.2.1 BP 神经网络结构 BP (Back Propagation)神经网络是一种神 经网络学习算法 3，全称基于误差反向传播算法的人工神经网络。 B

14、P 神经网络，即误差反向传播算法的学习过程， BP 算法的学习过程包括正向传播和反向误差传播。在正向传播过程中，输入信息从输入层经隐单元层逐层处理，并传向输出层，每一层神经元的状态只要影响下一层神经元的状态；如输出层得不到期望输出，则转入反向传播，将误差信号沿着原来的连接通路返回。 BP 网络是一种多层前馈神经网络，其结构示意图如图 2-1所示。由图可见，BP 网络是一种具有三层或三层以上的神经网络，包括输入层，中间层 (隐层 )和输出层。 - 5 - 图 2-1 BP 神经网络结构示意图 由于误差反向传播中会对传递函数进行求导计算， BP 网络的传递函数必须是可微的。常用的有 log-sig

15、moid 型函数 logsig()、 tan-sigmoid 型函数 tansig（）以及纯线性函数 purelin()。其传递函数如图 2-2所示。 图 2-2 神经元传递函数 如果 BP 网络最后一层是 sigmoid 型神经元，那么整个网络的输出就限制在一个较小的范围内；如果 BP 网络的最后一层是 purelin 型神经元，那么整个网络的输出就可以取任意值 4。 BP 网络采用的传递函数均是可微的单调递增 函数 5。 2.2.2 传统 BP 网络算法 BP 算法是一种有监督式的学习算法，其主要思想是 6：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出向量与期

16、望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。以一个三层网络为例 ， 网络由 N个输入神经元 ， K 个隐层神经元 ， M个输出神经元组成 (见图 2-3)。2pmo和1pko分别为输出层和隐层的输出值 ，- 6 - 2kmw和1nkw分别为隐层到输出层和输入层到隐层的连接权值 ， 设输入学习样本为pnx，其对应的希望输出值为 pmt。 图 2-3 BP 神经网络示意图 标准算法步骤如下 : (1)初始化权值 ， 设定学习率 ， 允许误差 ， 最大迭代次数 ， 置循环步数i=0。 (2)正向计算 :将第 p个样本 . 1 pnpP XXX 顺序输入

17、到网络中 ， 按下式分别计算1pko和2pmo： )(1()(1 1 pnnn nkpk xiwfio (2-1) )(1)(2()(2 1 ioiwfio pkkk kmpm (2-2) 激活函数常采 用 S 型 sigmoid 函数 : )1(1)( xexf (3)计算均方误差 E， 若 E ， 则停止迭代 ， 否则执行下一步。 21 )2(1 pmmm pm otME (2-3) (4)反向计算 :计算权值的改变量 ， 公式如下 : pmpp pknk xiiw )()1(1 1 (2-4) )(1)()1(2 ioiiw pkpmkm (2-5) - 7 - )(21)(2)(2()

18、( ioioioti pmpmpmpmpm (2-6) )(21)(2)(2()( ioioioti pmpmpmpmpm (2-7) 更改权值 )1(1)(1)1(1 iwiwiw nknknk (2-8) )1(2)(2)1(2 iwiwiw kmkmkm (2-9) （ 5）置 1ii ，返回（ 2）。 传统的 BP 算法，实质上是把一组样本输入 /输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且易陷入局部极小 。 2.2.3 MATLAB 中常用的 BP 网络函数 MATLAB 的函数大体可以分为两类 7：一类是通用函数，

19、大体上对所有网络都能应用，例如神经网络的初始化函数，仿真函数，以及训练函数等；第二类则是某一类型的神经网络专用的，例如 各种类型网络的创建函数。 BP 网络的常用函数如表 2-1。 表 2-1 BP 网络的常用函数 函数类型 函数名称 函数用途 前向网络创建函数 newef 创建建联前向网络 newff 创建前向 BP 网络 newffd 创建存在输入延迟的前向网络 传递函数 logsig S 型的对数函数 dlogsig Logsig 的导函数 tansig tansig 的导函数 purelin 纯线性函数 dpurelin Purelin 的导函数 dtansig tansig 的导函数