BFGS优化算法及应用实例(共10页).docx

精选优质文档-倾情为你奉上目 录专心-专注-专业1、引言在最优化的问题中，线性最优化至少可以使用单纯形法求解，但对于非线性优化问题，牛顿法提供了一种求解的办法。牛顿法的优点是具有二次收敛速度，但是当Hesse矩阵不正定时，不能保证所产生的方向是目标函数在处的下降方向。特别地，当奇异时，算法就无法继续进行下去，尽管修正的牛顿法可以克服这一缺点，但修正参数的选取很难把握，过大或过小都会影响到收敛速度，此外，牛顿法的每一迭代步都需要目标函数的二阶导数，即Hesse矩阵，对于大规模问题，其计算量是惊人的。由此引出了一种新的求解非线性优化问题的方法拟牛顿法。拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon设计的这种在当时看来是非领域最具创造性的发明之一。不久R. Fletc