1、一种新的基于灰色关联分析的 BP 神经网络剪枝算法摘 要：利用灰色关联分析方法，为 BP 神经网络结构约简提出了一种新的剪枝算法，该算法通过剪枝和并枝两个阶段实现 BP 网络结构的优化，提高了网络的数值效能。最后，通过数值实验验证了该算法的合理性和有效性。 关键词：神经网络；网络结构优化；灰色关联度分析；剪枝算法 4 实例建模 4.1 分类实例XOR 问题 XOR 问题就是如何用神经网络实现异或逻辑关系，即 Y=A?XOR?B。对于这个问题用单个神经元模型无法解决，因为该问题是线性不可分的，对于两维输入空间，神经元的作用可以理解为对输入空间进行一条直线划分。 多层神经网络可以解决这个问题，因为
2、多层网络引入了中间隐含层，每个隐含神经元可以按不同的方法来划分输入空间抽取输入空间中包含的某些特征，从而形成更为复杂的分类区域。理论上已经证明三层神经网络足以解决任意复杂分类问题。 我们考虑用 BP 神经网络实现 XOR 问题，初步建立一个隐含层为 30个神经元的网络结构，再运用前文灰色关联度分析的方法进行网络剪枝，以实现最简网络的 XOR 问题。 XOR 问题的样本有四个，即他们的输入为 x=；对应的输出为：y=0101；输入是 2 维向量，用 2 个神经元作为输入层，网络输出是 1维向量，用 1 个神经元作为输出层，对于这个问题，在 BP 神经网络隐含层节点个数未知的情况下，先取 30 个
3、节点，经过简单的训练后得到网络结构，再利用灰色关联分析优化网络结构。 初始结构：2-30-1，神经元的传递函数取 tin sig 函数，BP 网络的训练函数取 tan sig；设定网络的训练参数如下：目标误差为 1e-4； 最大迭代步数为 5000 步；其余为系统默认值。 灰色关联计算时选取的分辨系数为？籽=0.4；额定灰色关联度为？着=0.55，最大剪枝次数为 5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05； 由表 1-3 可知，在程序运行过程中，原 BP 神经网络的结构首先调整为 2-15
4、-1，此时被删除的节点是E=2，5，6，7，9，10，16，17，20，21， 22，23，24，25，29 共 15 个，在此基础上继续对网络进行训练学习，第二次删除的节点是 E=14，26，27，28，30 共 4 个，此时的网络结构调整为 2-10-1，依次过程第五次网络达到稳定，得到 BP 网的最优化结构为2-3-1，具体每次调整过程对应的纵向节点和横向节点以及关联度如表 1-2 所示（省略前两次调整过程） 。 每次剪枝完后网络的输出值是比较可观的，误差也是接近我们的目标误差，精度很高，足见虽然每次减少了隐含层神经节的个数，但网络训练不受影响，也证实了剪枝算法的合理性，如表 3 所示。
5、 4.2 函数逼近实例Y=sin（X） 我们考虑用 BP 神经网络实现函数逼近问题，初步建立一个隐含层为30 个神经元的网络结构，进行网络剪枝运用前文灰色关联度分析的方法，以实现最简网络的 Y=sin（X）函数逼近问题。 我们选取 100 个样本，隐含层节点数为 30，输入和输出都是一维的。选取 Y=sin（X）为逼近函数，输入从 0.01？仔到 0.02？仔，增长率为0.02？仔。最大训练次数为 5000，学习速率为 0.005，目标误差为 1e-3。 灰色关联计算时选取的分辨系数为？籽=0.5；额定灰色关联度为？着=0.50，最大剪枝次数为 5，考虑到没进行一次剪枝和并枝操作，网络训练较好
6、，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05； 通过调节权值和阈值，网络达到稳定后，进行剪枝操作，第一次剪枝节点为 E=12，13，21，25，27 第二次剪枝节点为 E=2，5，6，7，11， 16，22，30 第三次剪枝节点为 E=10，14，26，28，最终隐层节点为7 个。函数逼近结果如图 1 所示。由图可知，大体符合函数逼近的趋势，逼近效果较好。 5 结束语 文章通过分析了几类前馈神经网络纵向和横向信息的传输特点，采用灰色关联分析方法，通过剪枝和并枝过程来设计一种以 BP 算法为例的剪枝算法，数值试验结果表明这种方法非常有效，同
7、时也对前馈神经网络的结构优化提供了一种新的学习算法。 参考文献 1冯知凡.基于图像处理及 BP 神经网络的车牌识别技术的研究D.武汉科技大学，2011. 2杨晟院，高协平.基于面向对象 BP 算法的灰度位图图像处理J.计算机工程与应用，2003，33：103-105. 3周凌翱.改进 BP 神经网络在模式识别中的应用及研究D.南京理工大学，2010. 4张宇.基于 BP 神经网络汇率预测的智能交易系统D.安徽大学，2011. 5李聪.基于 BP 神经网络的股票指数期货价格预测D.青岛大学，2012. 6黄庆斌.BP 算法的改进及其应用研究D.西南交通大学，2010. 7李晓峰，徐玖平，王荫清，
8、贺昌政.BP 人工神经网络自适应学习算法的建立及其应用J.系统工程理论与实践，2004，05：1-8. 8黄丽.BP 神经网络算法改进及应用研究D.重庆师范大学，2008. 9陈小前，罗世彬，王振国，陶玉静.BP 神经网络应用中的前后处理过程研究J.系统工程理论与实践，2002，1：65-70+88. 10熊焱，吴微，张超，亢喜岱.基于灰色关联分析的高阶神经网络剪枝算法J.大连理工大学学报，2010，3：463-468. 11唐万梅.BP 神经网络网络结构优化问题的研究J.系统工程理论与实践，2005，10：95-100. 作者简介：赵蓉（1992-） ，女，籍贯：湖南省岳阳市，学历：本科，研究方向：算法优化。
