1、1（20_届）本科毕业设计信息与计算科学最小二乘法原理及应用2摘要本文主要对数理统计中的最小二乘法及其直线和曲线拟合进行了整理归纳，并在此基础上给出了几个特殊的例子。关键词特殊最小二乘法统计量性质拟合MATLAB实现LEASTSQUAREPRINCIPLEANDAPPLICATIONABSTRACTTHISPAPERFOCESESONTHELEASTSQUAREMETHODINMATHEMATICALSTATISTICSANDTHELINEARANDCURVEFITTINGAREARRANGEDININDUCTION,ANDONTHISBASISGIVESSEVERALSPECIFICEXAM
2、PLESKEYWORDSSPECIALLEASTSQUARESSTATISTICSPROPERTIESFITTINGMATLABCLOSE1引言最小二乘法是一种传统的参数估计方法，它早已经被大家所了解。但是很多同学对最小二乘法的认识还是很模糊，仅仅是把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。本文就最小二乘法的引入、最小二乘法原理的简单证明、最小二乘法在曲线拟合和直线拟合，还有最小二乘法的MATLAB实现。以及经济领域的模型参数估计等应用方面进行简单的阐释。本文的一些理论建立在学习过高等代数、数值分析及了解简单的经济计量
3、学的基础上。本文的理论简明易懂，仅对现实中常见的问题用最小二乘法理论结合阐释。11最小二乘法历史简介最小二乘方法最早是有高斯提出的，他用这种方法解决了天文学方面的问题，特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定，原则上，只要对它的位置做5次测量就足以确定它的整个轨迹。但由于存在测量误差，由5次测量所确定的运行轨迹极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。12最小二乘法基本概念假如想了解某个地方的月降雨量，一个月的观测当然不够，任何
4、一个月都可能是异常晴朗或异常多雨。相反，人们应该研究几个月或至少一年甚至十年，并将所有数据加以平均。平均的结果对任何一个具体的月份并不一定能完全符合，但凭直觉，这个结果所给我们的标准降雨量图形将比只研究一个月所得到的结果要准确得多。这个原理在观察和实验科学领域3是通用的。它是通过多次测量消除测量误差及随机波动。木匠的格言“量两次，再下手”也正是这个常识的一个例子。在降雨的例子中，我们用一个数来代表或一定程度地近似整个测定数据的效果。更一般的，鉴于各种理论和实际的原因，常用低维来近似说明高维的对象。在下面几种工作中都可以采用这个方法，象消除误差或忽略无关细节，从干扰数据中提取信号或找出趋势，将大
5、量数据降低到可管理的数量或用简单的近似来代替复杂函数。我们并不期望这个近似值多么精确，事实上，在许多时候它也不用很精确。但尽管如此，我们还是希望它能保持对原始数据的相似之处。在线性代数领域，我们希望将一个高维空间的向量投影到低维子空间，完成这个工作的最普遍和最便于计算的方法之一就是最小二乘法。2最小二乘法原理及拟合21最小二乘法原理最小二乘法定义设有一列实验数据（XI，YI）I0,1,2,3,，N,他们大体分布在某条曲线上，通过偏差平方和最小求该曲线的方法称为最小二乘法，找出的函数关系称为经验函数。在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这
6、就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况一种是两个观测量X与Y之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是X与Y之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设X与Y之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。在我们研究两个变量X，Y之间的相互关系时，通常可以得到一系列成对的数据X1，Y1，X2，Y2XM，YM；将这些数据描绘在XY直角坐标系中，可以得到M个点，这种图形称为“散点图”，如果从图中粗略看出这些点大致散落在某直线近旁，我们认为Y与X之间近似为一线性函数，可以令这条
7、直线方程为Y计A0A1X（1）其中A0、A1是任意实数。为建立这直线方程就要确定A0和A1，将实测值YI与利用式1计算值（Y计A0A1X）的离差YIY计的平方和（YIY计最小作为“优化判据”。令YIY计（2）4把式1代入式2中得YIA0A1XI（3）当YIY计平方最小时，可用函数对A0、A1求偏导数，令这两个偏导数等于零。亦即MA0XIA1YI（4）XIA0XI2A1XI,YI（5）得到的两个关于A0、A1为未知数的两个方程组，解这两个方程组得出A0YI/MA1XI/M（6）A1MXIYIXIYI/MXIXI（7）这时把A0、A1代入式1中，此时的式1就是我们回归的元线性方程即数学模型。22最
8、小二乘法的直线拟合对给定数据点XI，YII0,1,，M，在取定的函数类中,求PX,使误差的平方和E2最小，E2PXIYI2。从几何意义上讲，就是寻求与给定点XI，YII0,1,M的距离平方和为最小的曲线YPX。求拟合函数PX的方法称为曲线拟合的最小二乘法。函数PX称为拟合函数或最小二乘解，同时也称为经验函数。直线拟合则拟合函数为YPXAXB。221最小二乘参数估计法前面最小二乘法的原理中指出，用最小二乘法估计参数时，要求观测值YI的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，由式（3）可使AANIIIXAAY1210（8）最小即对参数A（代表A0，A1）最佳估计，要求观测值YI的偏
9、差的平方和为最小。根据式（8）的要求，应有,0211012100NIIIAANIIIXAAYXAAYA0211012101NIIIAANIIIXAAYXAAYA整理后得到正规方程组,21010IIIIIIYXXAXAYXANA解正规方程组便可求得直线参数A0和A1的最佳估计值0A和1A。即52220IIIIIIIXXNYXXYXA（10）221IIIIIIXXNYXYXNA（11）222法方程组法设给定的离散点所对应的法方程组为MINOJIIJJIMIIIINYXAWYXSWAAA02021,0,求最小二乘解XS的关键是求待定参数,1,0NJAJ,即处取得极小值。将在某点,101,0NNAAA
10、AAA由函数取极值的必要条件,1,0,0NKAK得MIIKNJIIJJINKXYXAW00,2,1,00即NJMIIKIIJMIIKIIINKXYWAXXW000,2,1,0令,2,1,0,1010MMRRRRYYYFNRXXX并定义内积6MIIKIIKMIIKIJIKJXYWFXXW00,于是将方程组写作在离散点的法方程。称为函数系,00XXFANNJKJKJ例题1用最小二乘法拟合下列数据表1I0123456IX00020406081012IY09192833405765解1在坐标平面上描出点（XI,YI）I0,1,2，6，2根据散点的分布情况，选用线性函数P0XA0A1X作拟合函数，故取F
11、1X1,F2XX3建立法方程组，这里N1，M6,WI1根据法方程组相关公式MIIKIIKMIIKIJIKJXFYWFFXFXFWFF00,计算得到760260160222602,1601,11820,125,643,247IIIIIIIIIIIIIIIYXWFFYWFFXWFFXWFFWFF法方程组为18201252164324247FF用直接三角分解法解得A00834,A1457从而P00834457X为所求的拟合方程。23最小二乘法的曲线拟合若F（X）是由实验或观测得到的，则其函数通常由函数表（XI,FXI）I0,1,2,M给出。有前面叙述的内容，由函数表给出函数关系通常有下列两种方法方法
12、一，使用多项式插值方法二，三次样条插值。使用多项式插值会带来两个问题，问题之一，当所给的数值点较多时，多项式次数要高，会出现数值震荡，即所谓的龙格现象；问题之二，由于数值本身带有误差，使用插值条件来确定函数关系不合理。三次样条插值克服了多项式插值的第一个缺陷，但是求三次样条插值带来了很大的计算量。曲线拟合的最小二乘方法可以克服数值震荡，同时不引起大的计算量。那么，什么是曲线拟合的最小二乘法呢对函数表在函数空间中求S（X），使MIN0022XSXFXSWXFXSWMIMIIIIIII就是曲线拟合的最小二乘法问题，其中WI是点XI处得权。这个问题的实质是F（X）为离散情形的最佳平方逼近问题。这样求
13、连续函数的最佳平方逼近的方法可以用到曲线拟合的最小二乘法问题上来。具体做法简述如下。求SX的问题等价于求多元函数8MINJIIJJNXFXAWIAAAI02010,的极小值，由去极小值的必要条件可得法方程,2,1,0,0NKFANJKJKJ其中内积（，）表示和式即MIIKIIKMIIKIJIKXXFWFXXW00J,）（由于其线性无关，可以证明法方程的系数矩阵非奇异，于是秋季法方程得到NKAAKK,2,1,0,从而得到S（X），他是存在的且唯一的，称S（X）是XF在中的最小二乘逼近函数。在实际问题中,我们常常会碰到用指数函数BXAEXS，幂函数BAXXG，或者三角函数BXAXHSIN等非线性函
14、数拟合给定的一组数据，这时拟合函数是关于待定参数的非线性函数，按最小二乘法准则，用极值原理建立的法方程组蒋是关于待定参数的非线性方程组，称这类数据拟合问题为非线性最小二乘法问题，其中某些特殊的情形可以转化为线性最小二乘法问题求解。对某些问题，同时含有线性理论的因素，这时不能将非线性问题转化为线性最小二乘法问题，而只能按最小二乘法原则，用极值原理建立法方程组。这里得到的法方程组将是关于待定参数的非线性方程组。用合适的求解非线性方程组的方法求解即可得非线性最小二乘法问题的解。下面是非线性最小二乘法问题的简单例子。例题2用函数SINBXAY拟合数据表2X0102030405060708Y061116
15、1820191713解这是一个非线性最小二乘法问题，按照最小二乘法原理，应选取参数A，B是的表达式812SINIIIYBXAI达到极小值。通过对I关于A和B求偏导，并置这些偏导数等于0得981810COSSIN20SINSIN2IIIIIIIIBXAYBXABIBXYBXAAI从上两个返程中分别解出A并置这两个值相等，得方程81818181COSSINCOSSINSINIIIIIIIIIIIIIBXBXXBXYXBXBXY再从这个方程中用非线性方程求根的数值方法（如弦截法）解出参数B。最后可以计算这个方程的任一边作为A的值。不借助计算机，上述问题得不到具体的A和B的值。用MATLAB解决此问题
16、时，需要借助FMNSEARCH函数（求多元函数的极小值）来求281SINIIIYBXAI的极小值。具体做法分两步第一步创建函数FITFUN,FITFUN实际上返回I的值；第二步用FMINSEARCH求FITFUN的极小值。最后得到所求结果为02503SIN97511XY具体的方法请参考MATLAB实现中的附录1。3MATLAB实现31MATLAB实现的意义在处理实验数据时，常用最小二乘法，通常使用计算器的统计功能来间接计算，计算量大，不但极易出现按键错误，而且不方便核查校对，耗时费力，同时也无法找出误差较大甚至错误的数据点。本文在详细给出最小二乘法的理论推导过程的基础上，针对不同类型的拟合问题
17、，包括一般的线性问题和非线性问题，用具体实例的形式给出了如何使用MATLAB去求解它们。最小二乘法原理在很多领域都有着广泛的应用，利用MATLAB求解非常方便。MATLAB是MATHWORKS公司推出的一种科学计算软件，是集数值计算、符号运算及出色的图形处理、程序语言设计等强大功能于一体的科学计算语言。用MATLAB处理实验数据仅需编写十几行几乎像通常笔算式的简练程序，运行后就可得到所需的结果。应用它既克服了最小二乘法计算量大等缺点，又使繁琐、枯燥的数值计算变成种简单、直观的可视化操作过10程，且能较准确地标记实验数据点和绘出拟合曲线。32MATLAB实现之实例例题3已知某土豆种子实验中关照强
18、度与土豆产量的统计数据如表3，求产量与关照强度之间的函数关系。表3已知该数据可能满足的原型函数为BAXY，试求出满足上面数据的最小二乘解的值。首先绘出离散点图，在图1中我们用红五星代表离散点。从图形来看，离散点大致落在一条直线上，故可以用线性拟合来求出离散点问满足的关系。假设所求直线为BAXY，下面应用最小二乘法原理求出A和B。令1012IIIBAYM最小二乘法原理就是求出使M取得最小值时的A和B，如果把M看作是自变量为A和B的函数，由多元函数取最值的条件可知，上述问题可以通过求方程组0,0,BAMBBAMA的解来解决，即令1011010202IIIIIIIBAXYBMXBAXYAM根据初始数
19、据整理得A313,B201因此拟合曲线为012133XY上述解题过程在MATLAB环境下，可以直接使用POLYFIT函数实现，具体的命令格式为X01，02，03，04，O5，06，07，08，09，10X01020304050607080910Y2320126470290703288536008390904214745191482325127511Y23201，26470，29070，32885，36008，39090，42147，45191，48232，51275PPOLYFITX,Y,1其中POLYFIT函数中的输入参数L表示采用一次多项式方式拟合，即线性拟合。输出参数P是一个L2的行向量
20、，其中P1是X的系数，P2是常数项。例题4对某日隔两小时测一次气温，设时间为TI,气温为CI,I0,2,424数据如下表4TI024681012141618202224CI15141416202328272625221816分析用精确的解析式子描述一天的气温变化规律是不可能的也是没有必要的，但根据所测得的数据，可以用拟合数据方法求出近似的解析式子。根据一天内气温的变化趋势，我们可以看出用三次多项式拟合比较合理。其图形如下X024681012141618202224Y15141416202326272625221816PLOTX,Y,OGRIDONHOLDONPPOLYFITX,Y,3X1000
21、124Y1POLYVALP,X1PLOTX1,Y1,RAXIS024122812此图的图形可以大致反映该天的天气变化，如果想知道某一时刻的大致温度，我们可以从图中估计出来，当然也可以利用我们所做数据拟合的曲线方程求出大致的温度。在上面的程序中，运行后会得到P的值，即为多项式的系数，由高次向低排列。如本题想要得到17点的大致温度，我们可以利用POLYVAL函数，它是求多项式在某一点处的函数值，其格式为YPOLYVALP,X式中，P是多项式的系数，Y是拟合多项式在点X处的值。在本例题中求得P00061,01474,00246,137390,即拟合的曲线方程为PX00061X301474X20024
22、6X137390，所以在17点的温度可以这样求得Y17000610147400246137390,15,求得Y172595014小结本章论文主要介绍了应用较为广泛的最小二乘法，首先简单的介绍了最小二乘法的历史简介和基本概念，是同学们在学校最小二乘法是能够对其有一个初步的了解。接着给出最小二乘法的原理，同时对最小二乘法中重要的部分最小二乘法拟合做一个详细的阐述和证明，通过列举一些生活中常见的例子是同学能够深入的了解最小二乘法在生活中的重要作用。最后则是对最小二乘法问题进行另外一种方法处理MATLAB实现。通过MATLAB软件对最小二乘法问题进行求解，这样可以很简13便的处理一些特殊的最小二乘法问
23、题。参考文献1邹乐强，最小二乘法原理及其简单应用J河南职校论坛2010,232施吉林刘淑珍；计算机数值方法（第三版）M，北京高等教育出版社，20091031043施吉林刘淑珍；计算机数值方法（第三版）M，北京高等教育出版社，20091051064施吉林刘淑珍；计算机数值方法（第三版）M，北京高等教育出版社，20091071085高富德最小二乘法的初等证明J玉溪师专学报，1989,4126丁丽娟数值计算方法M北京北京理工大学出版社,19971271307庄楚强,吴亚森应用数理统计基础M广州华南理工大学出版社,20008罗批,郭继昌,李锵,等基于偏最小二乘回归建模的探讨J天津大学学报2002,35
24、67837869杜天玉，蔡波，王吉，陈振雄最小二乘法及其在MATLA中的应用J福建厦门10王可等基于MATLAB实现最小二乘曲线拟合J北京广播学院学报，2005,122525611王武义,徐定杰,陈键翼误差原理与数据处理M哈尔滨哈尔滨工业大学出版社,2002附录1对于前面一节中例2进行MATLAB实现求解过程如下FMINSEARCH函数的使用方法如下XMIN,VALUE,FLAG,OUTPUTFMINSEARCHF,XO其中F是向量参数X的标量函数，XO是搜索开始的向量。输出参数有4个最小值出现的点XMIN，在最小值点的函数值VALUE，一个表明运行成功的标志符FLAG，以及一个算法统计结构OUTPUT。函数FITFUN以向量（A，BT作为自变量，以计算的X和Y值为参数值，返回误差。FUNCTIONERR，A,BNLFITX,YIFNARGINNLFITTHENONLINEARLEASTSQUAREFITTINGYASINBXFORDATA01020304050607080611161820191713ISY19751SIN30250X
