梯度下降法、牛顿迭代法、共轭梯度法复习过程5页.doc

梯度下降法、牛顿迭代法、共轭梯度法（参见：神经网络-PGM-ANN-2009-C09性能优化） 优化的目的是求出目标函数的最大值点或者最小值点，这里讨论的是迭代的方法梯度下降法首先，给定一个初始猜测值 ，然后按照等式 （1） 或 （2） 逐步修改猜测。这里向量 代表一个搜索方向，一个大于零的纯量 为学习速度，它确定了学习步长。当用 进行最优点迭代时，函数应该在每次迭代时都减小，即 考虑 （3） 的 在的一阶泰勒级数展开： （4）其中，为在旧猜测值处的梯度 （5）要使只需要（4）中右端第二项小于0，即 （6）选择较小的正数。这就隐含。满足的任意向量成为一个下降方向。如果沿着此方向取足够小步长