多元线性回归模型的参数估计四.ppt

1、,多元线性回归及应用,经济计量学2016年9月主题答疑,多元线性回归及应用,一、多元线性回归模型的概念二、多元线性回归模型的矩阵表示三、多元线性回归模型的参数估计四、多元线性回归模型检验五、多元线性回归的预测六、多元线性回归模型应用实例,目录,一、多元线性回归模型的概念,问题的提出：,现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。所以在一元线性模型的基础上，提出多元线性模型解释变量个数 2,一、多元线性回归模型的概念,一元：一个因素X； 多元：多个因素-X1, X

2、2, , X k 被解释变量还是一个：Y比如： 被解释变量：某商品的需求量Y； 解释变量：该商品的价格P、消费者收入DPI、替代商品价格P2； 未考虑的量：消费偏好等；,（一）多元线性回归模型的引入,（二）多元总体线性回归模型,总体模型1、分量式,2、总量式,称之为变量Y关于变量X1, X2, , Xk的k元总体线性回归模型，Y称为被解释变量，X1, X2, , Xk称为解释变量，k 称为解释变量个数，U 称为随机扰动项，或随机项，或扰动项。,一、多元线性回归模型的概念,（三）多元样本线性回归模型,由于经济变量的总体分布大多数是未知的，与一元模型类似，我们只能根据样本观察值进行统计推断，以此来

3、估计多元总体回归方程和总体回归参数。这时导出的模型式为：,称为样本回归参数，n 称为样本容量。称e i 为残差项，它是扰动项 u i 的估计量。 总体模型是理论意义上的，是在做定性研究时所使用的，在做定量分析时具体使用的模型也即可操作的是样本模型。,一、多元线性回归模型的概念,（四）多元样本线性回归模型经典假设,1、解释变量X1, X2, ,Xk 是非随机的；2 、 E(u i) = 0 3 、 Var(ui)=2 i=1,2, ,n Cov (ui,uj)= 0 ij,i,j=1,2, ,n 4 、解释变量 X1, X2, ,Xk 线性无关；5 、 uiN(0,2 ),对上述假设条件的理解基

4、本上与一元线性回归模型类似，因此不再赘述。 假设3 中实际上包含了两条假设，这样写的原因是为了以后的多元线性回归模型经典假设的矩阵表示。 以上假设 1 5 合称为多元线性回归模型的经典假设，也称为基本假设。满足经典假设的模型称为经典多元线性回归模型。,一、多元线性回归模型的概念,（五）多元样本线性回归模型解析表达式,一、多元线性回归模型的概念,二、多元线性回归模型的矩阵表示,（一）多元总体线性回归模型的矩阵表示,（二）多元样本线性回归模型的矩阵表示,二、多元线性回归模型的矩阵表示,1、E(U)= 0 2、E(U U)=2In 即扰动项的方差与协方差矩阵等于2 与单位矩阵之积。3、秩(X)= k

5、，且 k n 。,（三）多元模型经典假设的矩阵表示,二、多元线性回归模型的矩阵表示,三、多元线性回归模型的参数估计,对于多元线性回归模型，最常用的参数估计方法也是普通最小二乘方法（OLS）。其原理与一元线性回归模型的普通最小二乘估计的原理类似，也是使拟合误差平方和为最小。,（一）矩阵式的普通最小二乘估计量,设,由极值原理可知,最后可得：,上式为多元线性回归模型矩阵式的普通最小二乘估计量（OLS）。由经典假设可知，X 的秩等于k，而（X/X） 为正定矩阵，于是（X/X）可逆，即满足解释变量线性无关的多元线性回归模型的普通最小二乘估计量 有解。上面导出的是矩阵式的普通最小二乘解(OLS)，然而有时

6、我们需要用到其分量方程组形式,即正规方程组,下面我们导出正规方程组。 由极值原理可导出多元线性回归模型的正规方程组：,（一）矩阵式的普通最小二乘估计量,经典一元线性回归模型的OLS估计量满足线性、无偏及方差最小性，即高斯马尔可夫定理，对于经典多元线性回归模型的普通最小二乘估计量，这一性质仍然存在，换言之，对于满足经典假设的多元线性回归模型，采用OLS方法所得估计量 也满足线性、无偏及方差最小性。 1、线性性由OLS估计可知 令 由解释变量的非随机性可知M为非随机矩阵。则 为M 中的第j+1行与Y 的对应元素乘积之和，即 故 为Yi的线性组合，即线性性成立。,（二）普通最小二乘估计量的性质,2、

7、无偏性由零均值及解释变量为非随机可知：,（二）普通最小二乘估计量的性质,3、有效性（也称方差最小性）首先导出 的方差与协方差矩阵：由于,于是OLS估计量 的方差与协方差矩阵为：,（二）普通最小二乘估计量的性质,即 的方差与协方差矩阵为 与 之积，因此估计量 的方差为 与 的第j个对角线元素之积(j=1,2,k)。 令 则,由于总体分布未知，于是 也未知， 令,可以证明 为总体方差 的无偏估计量。 最小方差的证明省略。,（三）偏回归系数的含义,多元回归模型中的回归系数称为偏回归系数某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小

8、的变动,（三）偏回归系数的含义,Y,X3,= 3,度量了在保持 X2 不变的条件下， X3 改变一个单位Y的平均改变量。,Y,X2,= 2,度量了在保持X3 不变的条件下， X2 改变一个单位Y的平均改变量。,（四）正规方程,由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程,（四）正规方程,Y 被解释变量观测值 n x 1X 解释变量观测值（含虚拟变量n x (k+1) ）XX 设计矩阵（实对称(k+1) x (k+1)矩阵 ）XY 正规方程右端 n x 1 回归系数矩阵（ (k+1) x 1 ） 高斯乘数矩阵， 设计矩阵的逆 残差向量（ n x 1 ） 被解释变量的拟合（预测）向

9、量 n x 1,正规方程的结构,（五）、多元回归模型参数估计中样本容量,样本是一个重要的实际问题，模型依赖于实际样本。获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。最小样本容量：满足基本要求的样本容量,（五）、多元回归模型参数估计中样本容量,最小样本容量 n k+1：,(XX)-1存在| XX | 0 XX 为k+1阶的满秩阵R(AB) min(R(A),R(B)R(X) k+1因此，必须有nk+1,一般经验认为：n 30或者n 3(k+1)才能满足模型估计的基本要求。n 3(k+1)时，t分布才稳定，检验才较为有效,满足基本要求的样本容量：,四、多元线性回归模型的检验,（一）估

10、计量的显著性检验及置信区间 对于多元线性回归模型的参数估计量，其在统计上是否显著，也需要作显著性检验，即t-显著性检验，其检验方法与一元线性模型的参数显著性检验基本相同，所不同的是现在要对所有解释变量前的参数进行显著性检验。与一元线性回归模型的原理完全一样可导出： 以 95% 的可能性落在区间,(j=1,2,k),上，称该区间为 的置信区间，或称区间估计，置信度为95%,（一）估计量的显著性检验及置信区间,很显然，置信区间越小则可信度越高，而置信区间的半径中临界值变化不大，因此估计量的可信度主要取决于其标准差的估计量，标准差越小，则可信度越高，标准差越大，则可信度越低。这与 t - 检验的显著

11、性是等价的，从T 统计量的计算可知，标准差越小，则t - 统计量的绝对值越大，即t -值通过临界值的可能性也大，从而t - 检验显著的可能性也大。另一方面，从标准差的计算公式可知，标准差的大小主要取决于总体方差估计量的大小及 对角线上的元素 ，而 与解释变量的线性相关的程度有关，当总体方差估计量较大以及解释变量的线性相关程度较高时，参数估计量的标准差的估计量也就较大，这时会影响参数的显著性。,（二）回归方程的显著性检验,1、回归参数的显著性检验（t检验）,（二）回归方程的显著性检验,t-检验的具体过程:,（二）回归方程的显著性检验,2、回归参数的显著性检验（F检验）,回归系数的t检验，检验了各

12、个解释变量Xj单独对应变量Y是否显著；我们还需要检验：所有解释变量联合在一起，是否对应变量Y也显著？这即是下面所要进行的F-检验。,（二）回归方程的显著性检验,2、回归参数的显著性检验（F检验）,方差分析表以下用表格的形式列出平方和、自由度、方差:,（二）回归方程的显著性检验,2、F检验（单侧检验）的具体过程,（二）回归方程的显著性检验,F-统计量的计算公式为：,在一般计量软件的参数估计输出结果中均有F-统计量的值，不必用手工计算。当F-值大于临界值时 ，回归方程是显著的，否则，为不显著的。,（二）回归方程的显著性检验,对于一元线性回归模型，回归参数的显著性与回归方程的显著性是等价的，而对于多

13、元线性回归模型，单个回归参数是显著的并不等于整个回归方程是显著的，因此还要作回归方程的显著性检验。 回归方程的显著性检验也称为F 检验，也是一种假设检验。 F 检验是检验所有解释变量合起来对被解释变量线性影响的显著性，单个解释变量对被解释变量的线性影响是显著的，合起来之后即线性组合对被解释变量的影响未必是显著的，这相当于我们通常所说的整体效率。因此对于多元模型，回归方程的显著性检验与回归参数显著性检验是不能相互替代的， 即使对回归方程中每个参数分别进行的t - 检验都不显著，F 检验也可能是显著的。比如当解释变量之间高度相关时就可能出现这种情况，其结果可能是参数的标准差大而t值小，但整个模型仍

14、然能对数据拟合得很好。,（三）拟合优度检验及修正的R2值,在一元线性回归模型中，我们用样本决定系数来衡量回归方程对样本观察值的拟合程度，即拟合优度检验，这一方法对多元线性回归模型仍然适用。 与一元线性模型类似，可以证明： TSS = ESS + RSS 即样本总离差可以分解为回归总离差与残差平方和之和。,令：,称R2为多元线性回归模型的样本决定系数，也称为样本可决系数。R2表示被多元回归方程“解释”的离差占总离差的比重。显然,由R2的定义可以看出，当R2越接近于1时，说明ESS 越接近于TSS，即残差平方和越小，也就是说回归方程对样本观察值拟合的越好，因此，我们以R2接近于1的程度来衡量样本回

15、归方程对样本观察值的拟合的优度，即拟合优度检验，用来说明解释变量与被解释变量之间的线性回归关系是否有效。,（三）拟合优度检验及修正的R2值,然而，在使用R2时也存在一些问题，比如，R2与模型中解释变量的个数有关。在回归方程中加入更多的解释变量会使R2值增大（增加新的解释变量不会改变TSS，但是可以增加ESS），因此，给人一种误解，为提高拟合优度，解释变量越多越好，但事实上并非如此。用R2度量拟合优度的问题在于R2只涉及Y的总离差中被解释的部分和未被解释的部分，没有考虑自由度的个数。为了消除拟合优度对模型中解释变量个数的依赖性，我们定义修正的R2值，记作 ：,（三）拟合优度检验及修正的R2值,可

16、以推得： 1 2 可能为负值； 3. 当模型的自由度（n-k）较大时，R2与 比较接近。,（三）拟合优度检验及修正的R2值,由R2及 的定义可知：,比R2更适合于衡量拟合优度。当回归模型中加入新的解释变量时，R2肯定会增加，而 可能增加也可能减少。比如，一个样本容量为25的模型，其R2为0.8，但这个结果只是在模型中包含了17个解释变量时才得到。而该模型的 仅为0.4，这一例子充分说明了R2作为衡量拟合优度指标的局限性。在实际应用中，由于大多数情况下， 与R2之间的差异不太大，故使用R2作为衡量拟合优度的情况也常见。,（三）拟合优度检验及修正的R2值,拟合优度检验与F 检验是有联系的。可以证明

17、：,（三）拟合优度检验及修正的R2值,由此可知R2越接近于1，则F值越大，反之，若R2越接近于0，则F值越小。因此，一般来说，拟合优度较高，则F检验可以通过，拟合优度较差，则F检验通不过。但是，拟合优度检验与F检验还是有区别的，有例子表明，即使拟合优度只有0.65，F检验也是显著的。因此，虽然二者有联系，但是也不能相互替代。F检验的优越性在于它有临界值，可以断定显著与否，而拟合优度的好处在于它能说明拟合的程度，它的不足之处在于没有拟合好与坏的明确标准，一般来说，拟合的好坏视具体问题而定，但是，一个好的模型首先拟合优度要求比较高，从经验上讲，R20.9。不过拟合优度高并不能断定模型一定可取，较高

18、的拟合优度是一个好模型的必要条件，但不是充分条件。,（三）拟合优度检验及修正的R2值,Eviews软件输出结果中R 2及校正R 2,（四）各种检验的关系,、经济意义检验和其他检验的关系联系： 判断一个回归模型是否正确，首先要看模型是否具有合理的经济意义，其次才是统计检验。,（四）各种检验的关系,2、拟合优度和F检验的关系：,（1）都是对回归方程的显著性检验；（2）都是把总平方和分解，以构成统计量进行检验；（3）两者同增同减，具有一致性。,区别：（1）F检验中使用的统计量有精确的分布，而拟合优度检验没有；（2）对是否通过检验，判定系数（校正判定系数）只能给出一个模糊的推测；而F检验可以在给定显著

19、水平下，给出统计上的严格结论；,（四）各种检验的关系,、 F检验和t检验的关系：,在一元的情形，两者是一致的，等价的。对单个解释变量显著性进行t检验，也就检验了解释变量的整体显著性（F检验）；并且可以证明：Ft2 （所以在一元情形，只需要进行一种检验）多元中，不存在以上关系。,（五）回归模型假设检验的步骤,查看拟合优度，进行F检验，从整体上判断回归方程是否成立，如果F检验通不过，无须进行下一步；否则进行下一步查看各个变量的t值及其相应的概率，进行t检验，如果相应的概率小于给定的显著水平，该自变量的系数显著地不为0，该自变量对因变量作用显著；否则系数与0无显著差异（本质上=0），该自变量对因变量

20、无显著的作用，应从方程中删去，重新估计方程。但是，一次只能将最不显著（相应概率最大）的删除。每次删除一个，直至全部显著。,与一元模型的预测问题相类似，多元模型的预测也分为条件预测与无条件预测两类，下面介绍的是条件预测，条件预测又分为点预测与区间预测。,五、多元线性回归模型的预测,设多元线性回归模型的样本回归方程为： 给定解释变量样本以外的观察值X2f, X3f , , Xkf， 令 利用上述回归方程求得被解释变量的预测值：,（一）点预测,就是Yf的点预测值，同时也是Yf的均值 E(Yf|Xf)的预测值。就是Yf的点预测值，同时也是Yf的均值 E(Yf|Xf)的预测值。,由于回归方程代表的是被解

21、释变量的一个主要部分，不是全部，另一部分用扰动项来代表，因此，点预测值 与其真实值Yf之间有误差存在。,（二）区间预测,令,称ef 为预测误差，ef 为随机变量。 由于扰动项为零均值，可以证明,及,与参数估计量的置信区间的推导过程相类似，可以得出置信度为1-= 95% 的Y0的置信区间为：,（二）区间预测,预测区间越小，预测精度就越高，因此预测区间越小越好。怎样才能缩小预测区间呢？可以从以下三方面考虑： (1) 增大样本容量n 。在同样的置信水平下，n越大，则从t 分布表中查得的自由度为nk的临界值T/2就越小；同时，增大样本容量，在一般情况下可使,减小，因为式中分母的增大是肯定的，但分子不一

22、定增大。,(2)提高模型的拟合优度，以减小残差平方和 。这一条是提高预测精度的主要方法。(3)减少解释变量之间的线性相关程度。由于解释变量之间的线性相关程度越高， 的取值就越小，（当解释变量完全线性相关时，该行列式取值为0）于是 中元素取值增大，从而增大了预测误差。,（二）区间预测,例1、 我国居民消费函数的实证分析。 众所周知，从城乡结构上比较，我国居民人均收入的基础水平及其发展速度都存在着很大的差异。按现价计算，1978年城镇居民的可支配收入为343.4元，而同期农村居民的家庭人均纯收入为133.6元，同期我国居民的人均消费水平为184元，1999年此三项指标分别为9421.6元、2936

23、.4元和4552元，显然无论是改革开放的初期还是二十一世纪的今天，农村居民的收入水平与城镇一直存在着很大的差异。 由绝对收入的消费理论假设可知，影响居民消费水平的主要因素为收入水平，下面分析农村与城镇居民收入水平对居民消费水平的影响程度。 选取我国居民年人均消费水平为被解释变量（Y），选取农村居民家庭年人均纯收入（X1）及城镇居民家庭人均可支配收入（X2）为解释变量。依据绝对收入消费理论以及对样本数据的研究，选取线性回归模型：,六、多元线性回归模型应用实例,采用OLS方法，利用Eviews估计回归，所用命令为： CREATE A 1985 2005 DATA Y X1 X2 LS Y C X1

24、 X2 得回归方程（整理之后）：,六、多元线性回归模型应用实例,将被解释变量的样本数据与模拟值作图对比（下图）。 作图命令为： FIT YY PLOT Y YY其中，虚线表示拟合值，实线表示样本实际值。,六、多元线性回归模型应用实例,模型结果评价：由回归方程可知，城镇居民可支配收入每增加100元（1985年不变价），居民消费水平可增加24.9元（1985年不变价），而农村居民纯收入每增加100元（1985年不变价），居民消费水平可增加89.5元（1985年不变价），显然，农村居民收入水平的提高对全国居民消费水平提高的贡献大于城镇居民。这主要由于农村居民的比重大。,六、多元线性回归模型应用实例,

25、例：新股发行抑价的实证研究,六、多元线性回归模型应用实例,六、多元线性回归模型应用实例,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,首先，分别绘制因变量（房产销售价格y）与每个自变量（地产估价x1，房产估价x2，使用面积x3）的散点图，从而检查因变量与每个自变量的关系是否适用于多元线性回归。,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,六、多元线性回归模型应用实例,例3：多元线性回归模型在

26、房地产估价中的应用,y和x1,x2,x3的多元回归方程y=148.700+0.815x1+0.821x2+0.135x3,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,由上表可知x1和x3的系数经t统计量检验后的显著性分别为0.131和0.057，大于=0.05，因此不能拒绝零假设而零假设为x1和x3的系数为零，换言之，x1和x3对y的贡献不够显著X2的系数显著性为0.001,拒绝零假设，即x2对y有显著贡献，线性关系显著,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,其余数据如下：R=0.947R2=0.897调整后的R2=0.878经R软件算出的AIC=329.2611,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,通过对R2与AIC分析，我们可以看出，销售价格由地产估价，房产估价和使用面积共同决定在y与x1,x2,x3的多元线性回归方程中R2=0.897这意味着y的变化的89.7%可以由x1，x2,x3来解释，这可以看作一个相当可观的数据,六、多元线性回归模型应用实例,例3：多元线性回归模型在房地产估价中的应用,尽管三个自变量都与因变量线性相关，但是它们之间仍然有较明显的区别。自变量与因变量相关性最强的是x2，其次是x3，最弱是x1。这也符合我们对于散点图的直观感觉。,谢 谢！,