1、矩阵分解及无约束最优化方法的原理和应用简介最优化方法课程实验报告学 院：数学与统计学院班 级：硕 2041 班姓 名：王彭学 号：3112054028指导教师：阮小娥同 组 人：陈莹 钱东东矩阵分解及无约束最优化方法的原理和应用简介- 1 -矩阵分解及无约束最优化方法的原理和应用简介摘要应课程学习的需要，本文主要对矩阵分解中的 分解、 分解、乔列LUTDL斯基分解，以及无约束最优化领域中的最速下降法、牛顿法、拟牛顿法的原理、步骤和算法进行了简要介绍，并对各种方法进行了 Matlab 编程实验，得到了较好的结果。关键字： 分解， 分， 、乔列斯基分解，最速下降法，牛顿法，拟牛顿LUTDL法，Ma
2、tlab 编程。最优化方法课程实验报告- 2 -【目录】摘要 .- 1 -1 矩阵分解 .- 3 -1.1 矩阵的 分解 .- 3 -LU1.1.1 定义 .- 3 -1.1.2 矩阵的 分解过程 .- 3 -1.1.3 矩阵 分解的应用 .- 4 -1.2 对称矩阵的 分解 .- 5 -D1.2.1 定义 .- 5 -1.2.2 对称矩阵的 分解过程 .- 5 -L1.2.3 对称矩阵的 分解应用 .- 6 -1.3 对称正定矩阵的 分解 .- 6 -G1.3.1 定义 .- 6 -1.3.2 对称正定矩阵的乔列斯基分解过程 .- 7 -1.3.3 对称矩阵的乔列斯基分解应用 .- 7 -2
3、 无约束最优化方法 .- 8 -2.1 最速下降法 .- 8 -2.1.1 最速下降法的原理 .- 8 -2.1.2 最速下降法的步骤 .- 9 -2.1.3 最速下降法的应用 .- 9 -2.2 牛顿法 .- 10 -2.2.1 牛顿法的原理 .- 10 -2.2.2 牛顿法的步骤 .- 12 -2.2.3 牛顿法的应用 .- 12 -2.3 拟牛顿法 .- 13 -2.3.1 拟牛顿法的原理 .- 13 -2.3.2 DFP 法 .- 13 -2.3.3 BFGS 法 .- 14 -2.3.4 拟牛顿法的应用 .- 15 -3 总结 .- 15 -4 附录 .- 16 -4.1 矩阵 分解
4、的 matlab 程序： .- 16 -LU4.2 对称矩阵的 分解 .- 17 -D4.3 正定举证的乔列斯基分解 .- 18 -4.4 最速下降法 .- 18 -4.5 牛顿法 .- 19 -4.6 拟牛顿法 .- 20 -矩阵分解及无约束最优化方法的原理和应用简介- 3 -1 矩阵分解1.1 矩阵的 分解LU1.1.1 定义若 阶矩阵 的各阶顺序主子式nA，niaaiii i ,21,0212112 则存在惟一的单位下三角矩阵 和可逆的上三角阵 ，满足LU，A称该式为矩阵 的 分解。AU1.1.2 矩阵的 分解过程矩阵 的 分解计算过程如下：L11jk11j /)(,2,3,2/,unk
5、niiijjiijjijikiiiijulaulluaunforlfrnal 若对矩阵 进行了 分解，求解线性方程组 ，可以通过依次求解ALUbAx以下两个三角方程组： yxb,来实现，而这两个方程组的求解只须前代和回带即可。最优化方法课程实验报告- 4 -1.1.3 矩阵 分解的应用LU1.1.3.1 对矩阵进行 分解(1)问题描述对矩阵 9486310275A进行 分解。LU(2)用 Matlab 程序实现矩阵的 分解LUMatlab 程序见附录 3.1。结果为：1.1.3.2 分解在解方程组 中的应用LUbAx(1)问题描述解方程组，其中；9486310275A.T105b(2)用 Ma
6、tlab 求解方程组 bAxMatlab 程序见附录结果为：矩阵分解及无约束最优化方法的原理和应用简介- 5 -经验证，此解正确。1.2 对称矩阵的 分解TLD1.2.1 定义设 阶矩阵 的各阶顺序主子式均不等于零，则存在惟一的单位下三角矩nA阵 ，对角矩阵 和单位上三角矩阵 ，使得LTM.LDA特别地，当 是对称矩阵时， ，即矩阵 可以唯一地分解为，T其中 是单位下三角矩阵， 是对角阵。1.2.2 对称矩阵的 分解过程TLD对称矩阵 的 分解计算过程如下：A1211211/)(,3,2,/nkn jjkjkiiijjkjii dladll nfordladfnidal 对矩阵 进行了 分解后
7、，求解线性方程组 ，可以通过依次求ATLDbAx解下列三个方程组 zxTLy,b来实现。最优化方法课程实验报告- 6 -1.2.3 对称矩阵的 分解应用TLD(1)问题描述对矩阵 5241A进行 分解。TLD(2) 分解的 Matlab 程序实现Matlab 程序见附录 3.2。实验结果为：1.3 对称正定矩阵的 分解TG1.3.1 定义设 是 阶对称正定矩阵，则存在一个可逆的下三角阵 ，使得An G.TGA当限定 的对角元为正时，这种分解时惟一的，称该分解为矩阵 的 分解G AT或乔列斯基(Cholesky) 分解。1.3.2 对称正定矩阵的乔列斯基分解过程对称正定矩阵 的乔列斯基分解计算过
8、程如下：A矩阵分解及无约束最优化方法的原理和应用简介- 7 -2/112/111)(,)(,3,2,/gnkn jjkjkiiijjkjjii gagforgagnfia 将正定矩阵 进行乔列斯基分解之后，求解线性方程组 ，可以通过AbAx依次求解一下两个三角形方程组： yxTGb,来实现。1.3.3 对称矩阵的乔列斯基分解应用(1)问题描述对矩阵 5241A进行乔列斯基分解。(2)乔列斯基分解的 Matlab 程序实现Matlab 程序见附录 3.3。实验结果为：2 无约束最优化方法2.1 最速下降法最优化方法课程实验报告- 8 -2.1.1 最速下降法的原理最速下降法的搜索法向是目标函数的
9、负梯度方向，最速下降法从目标函数的负梯度方向一直前进，直到到达目标函数的最低点。已知目标函数在 点的梯度为：()kX()() ()()12.Tkkkk nffXfXfxxx 当求目标函数的最小点时，由于函数沿负梯度方向下降最快，故在 点的探()k索方向应取该点的负梯度方向，即 ()()kkfXS显然， 为单位向量。这样第 次迭代计算所得的新点为()kS1()()(1)()()()kkkkkfXSX负梯度仅给出了最优化方向，而没有给出步长的大小，所以可能有各种各样的最速下降的过程，它们依赖于 ()kfX的大小。步长 有两种取法：()k一种方法是任意给定一个初始步长，使满足条件： ()()()kk
10、kfXSfX另外一种方法是沿负梯度方向做一维探索，以求解一维最优化问题的最优步长 ，即对目标函数极小，以得到最优步长：()()()()0minkkkkffS以此最优步长作为由 点出发沿该点的负梯度方向探索的步长 。()kX()k这种方法的迭代计算的收敛性，可用以下三式中的任一式或二式作为准则来进行判断：矩阵分解及无约束最优化方法的原理和应用简介- 9 -()1()()2)()(13kkkfXf2.1.2 最速下降法的步骤用最速下降法求无约束多维极值问题 的算法步骤如下：min(),nfxR（1）取初始点 ，精度 ，令(0)x0k（2）计算搜索方向 ，其中 表示函数 在点()()kvfx()kfx()fx处的梯度；()kx（3）若 ，则停止计算；否则，从 出发，沿 进行一维搜索，()kv()kx()kv即求 ，使得 。此处的一维搜索可以用黄金k()()()()0minkkfxfv分割法等算法，当然也可以用 MATLAB 的 函数；ibnd（4）令 ，转步骤（2） 。(1)()(),1kkkxv2.1.3 最速下降法的应用2.1.3.1 问题描述用最速下降法求函数 极小值，取初始点取22(,)4()1ftss.0(1,3)x2.1.3.2 用 Matlab 实现最速下降法求解函数极值Matlab 程序见附录运行结果为：
