牛顿法与修正牛顿法1牛顿法和牛顿法和修正牛顿法修正牛顿法21、思想来源梯度法相邻两次搜索方向总是相互正交，搜索路线呈锯齿形，使得其在极小点附近，收敛速度越来越慢。人们试图找到这样一种方向：它直接指向最优它直接指向最优点点，使得从任意选定的初始点出发，沿此方向迭代一次就能达到极小点一次就能达到极小点。32、基本思想 在求目标函数在求目标函数 的极小值时，先将它在的极小值时，先将它在 点附近展开点附近展开成泰勒级数的二次函数式，然后求出函数的极小值点，并以此点作成泰勒级数的二次函数式，然后求出函数的极小值点，并以此点作为欲求目标函数的极小值点为欲求目标函数的极小值点 的一次近似值的一次近似值。设目标函数是连续二阶可微的，将函数在点设目标函数是连续二阶可微的，将函数在点 按泰勒级数按泰勒级数展开，并取到二次项：展开，并取到二次项：4对对x x求导，其极值点必满足一阶导数为零，所以，求导，其极值点必满足一阶导数为零，所以，得到得到 式中式中，为为HessianHessian矩阵的逆矩阵。矩阵的逆矩阵。5在一般情况下，在一般情况下，不一定是二次函数，因而不一定是二次函数，因而 也不可能是也不可能
