(3.29)3.4最小二乘法、梯度下降算法与误差反传算法(LeastSquare,GradientDescent,Back-PropagationAlgorithms)3.4.1梯度下降算法简介梯度下降算法又称最速下降算法，其基本思想是，定义一个与待定参数有关的误差函数，并通过反复修正有关参数以使得该误差函数尽可能快地达到最小状态(极小值)。设误差函数为E(W)，其中的待定参数为权值W。E(W)在时刻工的梯度为gradE(WG)=笃常)Ve(wG)dE(wG)dE(wG)m+1(3.29)表示一个向量。由数学分析可知，grade(W()是使E(WG)增长最快的方向。换句话说，沿着grade(W()的方向走，E(W()可以以最快速度到达极大点。我们的目的是怎样尽可能快地到达E(wG)的极小点，因此，我们可以推测，沿着grade(W()的“负”方向走，E(wG)可以以最快速度到达极小点。于是，权值修正公式可写成wG+1)=wG)耳0EWG)dW(c+1)(3.30)这一方法
