4.4.4.1 4.1 梯度法（最速下降法）梯度法（最速下降法）基本思想基本思想：函数的：函数的负梯度方向负梯度方向是函数值在是函数值在该点该点下降最快的方向。利用负梯度作为搜索下降最快的方向。利用负梯度作为搜索方向，故称最速下降法或梯度法。方向，故称最速下降法或梯度法。搜索方向搜索方向s取该点的负梯度方向取该点的负梯度方向 (最速下降最速下降方向方向)，使函数值在该点附近的范围内下降最快，使函数值在该点附近的范围内下降最快。梯度法梯度法 为为了了使使目目标标函函数数值值沿沿搜搜索索方方向向 能能够够获获得得最最大大的的下下降降值值，其其步步长长因因子子 应应取取一一维维搜搜索索的的最最佳佳步长。即有步长。即有步长因子步长因子 求解方法：求解方法：解析法：根据极值点必要条件。解析法：根据极值点必要条件。黄金分割法黄金分割法牛顿法牛顿法抛物线法抛物线法最速下降法的搜索路径最速下降法的搜索路径相邻相邻两个两个搜索搜索方向方向互相互相垂直垂直 根据一元函数极值的必要条件及根据一元函数极值的必要条件及复合函数求导公式得复合函数求导公式得 在最速下降法中，在最速下降法中，相邻两个迭代点上的函相邻
