最优化主讲：刘陶文博士课件制作：刘陶文唯楚有材 於斯为盛第三章 无约束问题算法(I) 最速下降法、 Newton法 第一节 最速下降法 第二节 Newton法及其修正形式 第一节 最速下降法1 、 思想 ：每次沿最速下降方向进行搜索2 、 算法步骤3 、 最速下降法的收敛性全局收敛性收敛速度估计从上图可以看出，最速下降法 具有锯齿现象 由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点 第二节 Newton法及其修正形式 1、思想：用近似二次函数的极小点作为原问题的新的近似解2 、 Newton 法的算法步骤(3.3)3 、Newton 的 收敛性 4 、 局部二次收敛性5 、 Newton 法的修正形式 上面的Newton法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性 还有很多其他的修正形式Newton 法 的优点：收敛快 缺点：对初始点要求很高，而且计算量大从Newton 法出发进行修改 ，利用其优点，克服其缺点，产生很多效果非常好的其他新算法
