第6章--无约束问题的优化方法18页.doc

第6章 无约束问题的优化方法6.1 最速下降法和牛顿法6.1.1 最速下降法的基本原理、计算步骤和特点基本原理：考虑无约束问题从某一点出发，选择一个目标函数值下降最快的方向，可以尽快达到极小点1847年法国数学家Cauchy提出了最速下降法后来，Curry等人作了进一步研究最速下降方向是目标函数的负梯度方向：最速下降法的迭代公式：取为在点处的最速下降方向：为进行一维搜索的步长，满足：计算步骤：(l)给定初点，允许误差，置.(2)计算搜索方向.(3)若，则停止计算；否则，从出发，沿进行一维搜索，求，使(4)令,置，转步骤（2）.例1 解问题初点，. （最优解）第1次迭代：目标函数在点处的梯度令搜索方向 从出发，沿方向进行一维搜索，求步长，即令(一般应采用不精确一维搜索求解)，解得在直线上的极小点： 第2次迭代： 解得 第3次迭代：解得 这时有满足