一、最速下降法的基本知识1、最速下降法基本原理无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的 依据，为此我们有以下几个定理：定理1 设 f : Rn R1在点x Rn处可微。若存在pRn，使f (x)T p 0，则向量p是f 在点x 处的下降方向。定理2 设 f : Rn R1在点x* Rn处可微。若x*是无约束问题的局部最优解，则f (x* ) = 0。由数学分析中我们已经知道，使f (x) = 0的点x为函数f 的驻点或平稳点。函数f 的一个驻点可以是极小点；也可以是极大点；甚至也可能既不是极小点也不是极大点，此时称它为函数f 的鞍点。以上定理告诉我们，x*是无约束问题的的局部最优解的必要条件是：x*是其目标函数f 的驻点。定理3（充分条件） 设 f : Rn R1在点x* Rn处的Hesse矩阵2 f (x* )存在。若f (x* ) = 0，并且2 f (x* )正定，则x*是无约束问题的严格局部最优解。一般而言，无约束问题的目标函数的驻点不一定是无约束问题的最优解。但对于其目标函数
