浅谈最小二乘法的原理及其应用【文献综述】.doc

1、毕业设计文献综述 信息与计算科学 浅谈最小二乘法的原理及其应用 最小二乘法最早是由高斯提出来的 , 主要用于天文学和地测学 , 在早期数理统计方法的发展中 , 这两门科学起了很大的作用 , 故丹麦统计学家霍尔把它们称为 “数理统计学的母亲 ”.随着现代电子计算机的发展 , 也使得最小二乘法的运用变得更为普及 , 在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的作用 . 最小二乘法（又称最小平方法）是一种数学优化技术 . 它通过最小化误差的平方和寻找 数据的最佳函数匹配 . 传统的曲线最小二乘法的原理是成对等精度地测得一组 数据( , )( 1, 2 , ., )iix y i n ,

2、试找出一条最佳的拟合曲线 , 使得这条拟合曲线上的各点的值与测量值的差的平方和在所有拟合曲线中最小 . 虽然最小二乘法简单易行 , 应用广泛 , 但仍然存在一些问题 : 计算量较大 , 当观测数据 较多时 , 计算会显得复杂 , 尤其是要进行矩阵求逆 , 矩阵阶数高时更为复杂 ; 容易受系统误差的影响 , 系统误差的存在导致了最小二乘估计不再是无偏估计 , 使得估计无效 ; 受测量误差相关性的影响 , 从理论上讲 , 当观测误差相关时 , 取权矩阵为协方差矩阵的逆 , 便可得到线 性无偏最小方差估计 . 但在实际情况中 , 协方差矩阵是未知的 ; 当观测数据含较大异常值时 , 将严重影响最小二

3、乘估计结果 . 经过长期的发展研究 , 针对传统最小二乘法存在的问题 , 人们对其做了进一步的探究并提出了一些改进方法 : 1. 移动最小二乘法 移动最小二乘法是形成无网格方法逼近函数的方法之一 , 已在无网格方法中得到广泛 应用 . 其优点是有很好的数学理论支持 , 因为基于最小二乘法 , 所以数值精确度较高 . 对于每个固定点 , 移动最小二乘法即为通常的最小二乘法 . 移动最小二乘法和最小二乘法具有同样的缺点 , 即易形成病 态或奇异的方程组 . 程玉民等人在文 6中对移动最小二乘法做了进一步的研究探讨 , 对移动最小二乘法做了改进 , 同时还评述了各种移动最小二乘法的优缺点 , 并概述

4、各种移动最小二乘法形成的无网格方法的研究进展 . 运用各种移动最小二乘法求解静态和动态断裂力学 , 求解弹塑性等问题 . 2. 加权最小二乘法 如果模型被检验证明存在异方差性 , 则需要发展新的方法估计模型 , 最常用的方法是 加权最小二乘法 . 加权最小二乘法是对原模型加权 , 使之变成一个新的不存在异方差性的模型 , 然后采用普通最小二乘法估计其参数 . 在文 7中 , 王淑英、高永胜为了达到所有实测点与拟合曲线间的相对误差尽量不超过某一百分比的原则要求 , 提出了非线性的加权最小二乘法及线性相关方程的最小距离平方和法 , 探讨改进了传统的最小二乘法达到优化的效果 . 3. 偏最小二乘法

5、偏最小二乘法是通过最小化误差的平方和找到一组数据的最佳函数匹配 . 其特点为 : 能够在自变量存在严重多重相关性的条件下进行回归建模 ; 允许在样本点个数少于变量个数的条件下进行回归建模 ; 偏最小二乘回归在最终模型中将包含原有的所有自变量 ; 偏最小二乘回归模型更易于辨识系统信息与噪声（甚至一些非随 机性的噪声） ; 在偏最小二乘回归模型中 , 每一个自变量的回归系数将更容易解释 . 另外 , 在文 8中 , 宋殿瑞等人结合一元线性拟合、多元线性拟合、非线性拟合等多个问题提出了最小二乘法在应用时应该注意的几个问题 : 一个是慎重选择拟合关系式 ; 另一个则是注意自变量的选择 . 孙彦清在文

6、9中对最小二乘法线性拟合应注意的两个问题中从理论上分析了最小二乘法原理及其在实际曲线拟合问题中的应用 , 指出了最小乘法处理线性拟合应注意的两个问题 : 拟合应用条件和误差比较 . 在文 10中 , 张庆海等人通过实验观测 , 用一种新 型的实验方法表明了弹簧振子系统中弹簧的惯性质量对小振动系统的减震周期（或减震频率）有影响 , 其振动有效质量系数在误差范围内和理论推导一致 . 在文 11中 , 学者代锦辉对最小二乘法在实验数据处理和在数学研究上面的应用做了相应的介绍和研究 , 使人们认识到 : 在科学实验中处理数据时 , 在自变量有误差的情况下 , 用最小二乘法的几种方法处理实验数据 , 这

7、样可以降低在实际测量中由于测量数据无法避免的误差 , 从而提高科学实验的准确性 , 更加突出实验的科学性 . 这也使得 最小二乘法在数学研究及科学实验中有着更为广泛的运用 . 在文 12中 , 张红贵等人有效地解决了传统最小二乘法在线性相关分析中出现的不合理问题 , 使分析结果与实际符合良好 , 回归方程具有良好的可逆性 . 为解决各种实际问题 , 人们还提出了很多其他改进 , 如主成份估计（用较少的变量去估算原来模型中大部分的数据 , 将我们手中相关性很高的变量转化成彼此相互独立或不相关的变量）、全最小二乘估计、模糊最小二乘估计等 . 所有这些方法 , 各有特色和针对性 , 但每种方法或多或

8、少都存在一些问题 , 所以还需要对其继续研究 , 并进行相应的改进 , 使其能更好地应用于实际问题的解决中 . 参考文献 1 GU Xiangqian,KANG Hongwen,CAO Hongxing.The least-square method in complex number domainJ.Progress in Natural Science.2006,1:59-63. 2 LI Guo-qing,MENG Zhao-ping,MA Feng-shan,ZHAO Hai-jun,DING De-min,LIU Qin,WANG Cheng.Calculation of strat

9、um surface principal curvature based on moving least square method. Journal of China University of Mining&Technology.2008,3:307-312. 3 陈希孺 .最小二乘法的历史回顾与现状 J.中国科学院研究生院学报 .1998,1:4-11. 4 张玉祥 .最小二乘法述评 J.飞行器控制技术 .1993,1:19-25. 5 贾小勇 ,徐传胜 ,白欣 .最小二乘法的创立及其思想方法 J.西北大学学报 .2006,3:507-511. 6 程玉民 .移动最小二乘法研究进展与评述

10、 J.计算机辅助工程 .2009,2:5-11. 7 王淑英 ,高永胜 .改进的最小二乘法在水文分析计算中的应用 J.水文 .2003.5:5-9. 8 宋殿瑞 ,宋文臣 ,刘朋振 .最小二乘法应用探讨 J.青岛化工学院学报 .1998,3:296-301. 9 孙彦清 .最小二乘法线性拟合应注意的两个问题 J.汉中师范学院学报 .2002,1:59-61. 10 张庆海 ,潘华锦 ,齐建英 .用最小二乘法测弹簧的有效质量 J.大学物理 .2002,11:33-34. 11 代锦辉 . 最小二乘法处理自变量误 差实验数据的方法 J. 实验科学与技术学报 , 2006, 4(4): 21-46. 12 张红贵 ,宋志尧 ,章卫胜 .潮位相关分析中的最小二乘法研究 J.水道港口 .2007,3:153-155.