1、 最小二乘法的应用研究 最小二乘法的应用研究 摘 要 最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识 ,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用 .然而 ,最小二乘法因其抽象、难懂常常 不能被准确理解 .本文 探讨了最小二乘法的基本原理及其各种变形的拟合方法 ,其中包括 :一 元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合 ,并且讨论了用镜像映射和切比雪夫多项式解“病态”矛盾方程组的基本原理和方法 ,在此基础上 给出 了几种最小二乘法程序 的设计原理 . 关键词 ： 最 小二乘法 ,线性拟合 ,曲线拟合 ,切比雪夫多项式 Study on th
2、e Application about Method of Least Square Abstract Least square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the parameters estimate, system identification, prediction, forecasting and other fields. However,
3、 the least square method because of its abstract and difficult ， often can not be accurately understanding. The least square methods principle and the various kinds of fitting methods such as the linear least square fitting, multiple linear fitting, polynomial fitting a nonlinear fitting are dealt w
4、ith. And discussed using mirror and Chebyshev polynomial solution pathological contradictory equations basic principles and methods. Finally some kinds of the principle of the programs on the least square method are given. Key Words： least square method, linear fitting, curve fitting, Chebyshev poly
5、nomial 目 录 一 、 最小二乘法的统计学原理 1 二 、 曲线拟合 2 1.一元线性拟合 2 2.多元线性拟合 4 3.多项式拟合 5 4.非线性最小二乘法拟合 6 5.多项式回归的高精度快速算法 7 三、应用最小二乘法的几个问题 9 四、程序设计 原理 10 1.线性拟合程序的设计 原理 10 2.多元线性拟合程序的设计 原理 10 3.Shehata 方程 12k s k suk s k s的拟合程序设计 原理 11 结束语 11 参考文献 12 1 一 、 最小二乘法的统计学原理 1 基本最小二乘法 ,其统计学原理是 : 设物理量 y 与 l 个变量 12, , , lx x x
6、 间的依赖关系 式为 1 2 0 1( , , , , , , , )lny f x x x a a a , 其中 01, , , na a a 是方程中需要确定的 1n 个参数 . 最小二乘法就是通过 1m m n 个实验点 12( , , , , ) ( 1 , 2 , )i i il ix x x y i m ,确定出一组参数值 01( , , , )na a a , 使由这组参数得出的函数值 1 2 0 1= ( , , , , , , , )i i il ny f x x x a a a 与实验值 iy 间的偏差平方和 2011( , , , ) ( )mniis a a a y y
7、取得极小值 . 在设计实验时 ,为了减小随机误差 ,一般进行多点测量 ,使方程式个数大于待求参数的个数 ,即 1mn.这时构成的方程组叫做矛盾方程组 .通过用最小二乘法进行统计处理 ,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组 ,再进行求解得出 01, , , na a a . 由微分学的求极值方法可知 01, , , na a a 应满足下列方程组 : 0iya ( 1,2, , )in , 这样就实现矛盾方程组向正规方程组的转换 . 2 二 、曲线拟合 1.一元线性拟合 2 设变量 y 与 x 成线性关系 ,即 01y a ax .现在已知 m 个实验点 ,iixy ( 1,2
8、, , )im ,求两个未知参数 01,aa. 方法一 由最小二乘法原理 ,参数 01,aa应使 20 1 0 11( , ) ( )miiis a a y a a x 取得极小值 .根据极小值的求法 ,0a 和 1a 应满足 011001112 ( ) 02 ( ) 0miiimi i iis y a a xas y a a x xa , 10112011 1 11mmiiiim m mi i i ii i iaa x ymma x a x x y , 这就是含有两个未知数和两个方程的正规方程组 . 从中解得 01,aa,即 221 1101( ) / ( )mmi i iiia x y m
9、 x y x m xa y a x (1) 其中 1111,mmiiiix x y ymm, 线性相关系数 /xy xx yyR l l l,式中 3 2 2 2 21 1 1,m m mx y i i x x i y y ii i il x y m x y l x m x l y m y , 相关系数是用来衡量实验点的线性特性 . 方法二 将 , ( 1, 2, , )iix y i m 代入 01y a ax 得矛盾方程组 1 0 1 12 0 1 201mmy a a xy a a xy a a x (2) 令 12111 mxxAx,12myyBy, 则（ 2）式可写成 01aBAa
10、, 则有 01TTaA B A A a , 所以 0 11()TTa A A A Ba . 其中 A 称为结构矩阵 ,B 称为数据矩阵 , TAA称为信息矩阵 , TAB称为常数矩阵 . 为了定量地给出 01y a ax 与实验数据之间线性关系的符合程度 ,可以用相关系数 r 来衡量 .它定义为 1 1 122221 1 1 1m m mi i j ii j im m m mi i i ii i i im x y x yrm x X m y y . 4 r 值在 01r中 ,r 值越接近 1,x 与 y 的线性关系越好 .r 为正 时 ,直线斜率为正 ,称为正相关； r 为负 时 ,直线斜率为
11、负 ,称为负相关 .r 接近于 0 时 ,测量数据点分散或之间为非线性 .不论测量数据好坏都能求出 0a 和 1a ,所以我们必须有一种判断测量数据好坏的方法 ,用来判断什么样的测量数据不宜拟合 ,判断的方法是0rr 时 ,测量数据是非线性的 . 0r 称为相关系数的起码值 ,与测量次数 n 有关 ,如图 表 所示 . 相关系数起码值 0r n 0r n 0r n 0r 3 1.000 9 0.798 15 0.641 4 0.990 10 0.765 16 0.623 5 0.959 11 0.735 17 0.606 6 0.917 12 0.708 18 0.590 7 0.874 13
12、 0.684 19 0.575 8 0.834 14 0.661 20 0.561 在进行一元线性 拟合 之前应先求出 r 值 ,再与 0r 比较 ,若 0rr ,则 x 和 y 具有线性关系 ,可求回归直线；否则反之 . 2.多元线性拟合 设变量 y 与 n 个变量 x 间存在线性关系 ,0 1njjjy a a x.设变量 jx 的第 i 次测量值为 ijx ,对应的函数值为 ( 1, 2, , )iy i m ,则偏差平方和 220 1 01 1 1( , , , ) ( ) ( )m m nn i i j iji i js a a a y y y a a x 为使 s 取极小值 ,得正
13、规方程组为 : 5 0110011110112 ( ) 02 ( ) 02 ( ) 0mni j ijijmni j ij iijmni j ij inijnsy a a xasy a a x xasy a a x xa , 即 01 1 101 1 1 1()n m mij j ij i im n m mik ij ik j ik ij j i im a x a yx a x x a x y , 1,2, ,kn . 将实验数据 ( , )ij ixy代入上述正规方程组中 ,即得出未知参数 01, , , na a a . 3.多顶式拟合 对于 n 次多项式0n jjjy a x,令 ( 0
14、 ,1, 2 , , )j jx x j n ,则可转化为线性形式0 1njjjy a a x这是曲线化直 .对于 1,2, ,im 个实验点有 jij ixx ,代入多元线性拟合的正规方程 : 001 1 1 1 1 1 1( ) ( )n m m m n m mij j i ik ij ik j ik ij i i i j i im a x a y x a x x a x y , 可直接得出多项式最小二乘拟合的正规方程 : 0 1 1n m mjki j ik ij i ix a x y ( 0,1, 2, , )kn ； 矩阵形式 : 6 0 1 2 001 2 3 1 112 3 4
15、2 2212ni i i i i ini i i i i ini i i i i in n n n m ni i i i i inx x x x x yax x x x x yax x x x x yax x x x x ya , 式中 代表1mi,这是一个具有 1n 个参数 0 1 2, , , , na a a a 和 1n 个方程的线性方程组 ,可用高斯迭代法求出这些未知参数 ,得出回归方程 . 4.非线性最小二乘法拟合 将非线性关系 1 2 1 2( , , , , , , , )iny f x x x b b b 直接代入偏差平方和表达式中 ,采用极小值的求法得出 12, , , n
16、b b b 的数值 ,此方法 常常较为繁琐 .为此 ,先将函数展开成泰勒级数 ,忽略高次项 ,化成线性形式后按线性拟合的方法求出参数 ,经多次逼近可得到满足精度要求的结果 . 计算步骤 : (1) 设所求参数真值为 ( 1, 2, , )jb j n ,另取初值 (0)jb ,其差值 (0)j j jbb ,故(0)j j jbb. (2) 将函数 1 2 1 2( , , , , , , , )lnf x x x b b b 在 (0)jb 处展开成泰勒级数 .由于初值 (0)jb 与真值 jb 应当很接近 ,故可以略去函数的泰勒展开式高次项 ,取得一阶近似展开 式 : ( 0 ) 11iii i nnffff bb , 式中 ( 0 ) ( 0 ) ( 0 ) ( 0 )1 2 1 2( , , , , , , , )i i i il nf f x x x b b b
