初学bp神经网络算法.docx

BP神经网络算法三层BP神经网络如图：目标输出向量传递函数输出层，输出向量输入层，输入向量隐含层，隐含层输出向量权值为传递函数设网络的输入模式为，隐含层有h个单元，隐含层的输出为，输出层有m个单元，他们的输出为，目标输出为设隐含层到输出层的传递函数为，输出层的传递函数为g于是：隐含层第j个神经元的输出；其中：输出层第k个神经元的输出此时网络输出与目标输出的误差为，显然，它是的函数。下面的步骤就是想办法调整权值，使减小。由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长，每次沿负梯度方向调整个单位，即每次权值的调整为：，在神经网络中称为学习速率可以证明：按这个方法调整，误差会逐渐减小。BP神经网络（反向传播）的调整顺序为：1）先调整隐含层到输出层的权值设为输出层第k个神经元的输入-复合函数偏导公式若取，则于是隐含层到输出层的权值调整迭代公式为：2）从输入层到隐含层的权值调整迭代公式为：