1、第二章 一元线性回归分析思考与练习参考答案 2.1 一元线性回归有哪些基本假定?答： 假设 1、解释变量 X 是确定性变量，Y 是随机变量； 假设 2、随机误差项 具有零均值、同方差和不序列相关性：E(i)=0 i=1,2, ,nVar (i)=2 i=1,2, ,nCov(i, j)=0 ij i,j= 1,2, ,n假设 3、随机误差项 与解释变量 X 之间不相关：Cov(Xi, i)=0 i=1,2, ,n假设 4、 服从零均值、同方差、零协方差的正态分布iN(0, 2 ) i=1,2, ,n2.2 考虑过原点的线性回归模型Yi=1Xi+i i=1,2, ,n误差 i（ i=1,2, ,
2、n） 仍满足基本假定。求 1 的最小二乘估计解：得：2.3 证明（2.27 式） ，e i =0 ，e iXi=0 。证明：niiinYQ121021 )()(其中：即： ei =0 ，e iXi=0212)()(iniiniiie XYQ0)111iii)(12niiii0iiiie010Q2.4 回归方程 E（Y ） =0+1X 的参数 0， 1 的最小二乘估计与最大似然估计在什么条件下等价? 给出证明。答：由于 iN(0, 2 ) i=1,2, ,n所以 Yi=0 + 1Xi + iN（ 0+1Xi , 2 )最大似然函数：使得 Ln（L ）最大的 ， 就是 0， 1 的最大似然估计值。
3、01同时发现使得 Ln（L）最大就是使得下式最小， niiini XYYQ1 21021 )()( 上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在 iN(0, 2 )的假设下求得，最小二乘估计则不要求分布假设。 所以在 iN(0, 2 ) 的条件下， 参数 0， 1 的最小二乘估计与最大似然估计等价。2.5 证明 是 0 的无偏估计。证明： )1)()( 110 niixini YLXYEXYE ) )()( 1011 iixiniixini XL 01010 )()( ixiniixini ELXE2.6 证明证明： ) ()1()1()( 1020 iixiniix
4、ini XVarLXYLXVarr )()() 22120 xniir),(21exp)(),( 2012/1210 iininini XYYf 2012 ),(l iiin 2212 1)()( xxixini LXnLXn2.7 证明平方和分解公式：SST=SSE+SSR证明：2.8 验证三种检验的关系，即验证：（1） ；（2）)(rnt 21)2/(tLnSERFx证明：（1） 2 2()()1yxyxxrLrL nrrt SSET （2） 22 220111111()()()()nnn ni i i i xi i i iSRyyxyxL22/()xLFtEnA2.9 验证（2.63）式
5、： 21)Lx(n()eVarii 证明： 0112222var()r()vr()r()cov(,)co,()1ii iiii iiiixxixeyyynLnL ni iiinii YYST1212 ()niiii iiii 12112 )SE)n1i2iin1i2i 其中： 222 111)()( )(,)(, (,( xixi ni ixiini iiii LLyyCovyCovx 2.10 用第 9 题证明2nei是 2 的无偏估计量证明： 2221112()()()var)(nni ii inii i xEEyEeeLn2.14 为了调查某广告对销售收入的影响，某商店记录了 5 个月的
6、销售收入y（万元）和广告费用 x（万元） ，数据见表 2.6，要求用手工计算：表 2.6月份 1 2 3 4 5X 1 2 3 4 5Y 10 10 20 20 40（1） 画散点图（略）（2） X 与 Y 是否大致呈线性关系？答：从散点图看，X 与 Y 大致呈线性关系。（3） 用最小二乘法估计求出回归方程。计算表X Y 2)(Xi2)(i )(YXiii2)(Yi2)(ii1 10 4 100 20 6 （-14） 2 （-4） 22 10 1 100 10 13 （-7） 2 （3） 23 20 0 0 0 20 0 04 20 1 0 0 27 72 725 40 4 400 40 34
7、 142 （-6） 2和 15 100 和 Lxx=10 Lyy=600 和 Lxy=70 和 100 SSR=490 SSE=110均 3 均 20 均 20回归方程为：（4） 求回归标准误差先求 SSR（Qe ）见计算表。所以第三章3.3 证明 随机误差项 的方差 2的无偏估计。证明: 2 2122 2111 12 (),()()()()(1) ninnn nii i i iii iiSEeepppEeDhhhpep 3.4 一个回归方程的复相关系数 R=0.99，样本决定系数R2=0.9801，我们能判断这个回归方程就很理想吗？答：不能断定这个回归方程理想。因为：1. 在样本容量较少，变
8、量个数较大时，决定系数的值容易接近 1，而此时可能 F 检验或者关于回归系数的 t 检验，所建立的回归方程都没能通过。2. 样本决定系数和复相关系数接近于 1 只能说明 Y 与自变量X1,X2,Xp 整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行 F 检验和 t 检验。3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增.17320,710 101 XYLxy .056312ne2p21*,.)jynj jiLjpXj ij中: (加解释变量必定使得自由度减少，使得 R2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的 R2的增大与拟合好坏无关。
9、3.7 验证证明：多元线性回归方程模型的一般形式为： 012pyxx其经验回归方程式为 ，012p又 ，012pyxx故 ，2()()()ppx中心化后，则有 ，12 ()i ppyxx左右同时除以 ，1()nyiiLy令 ，21(),njijjiLx ,2jp1221 () ()pipii iy y y yLxLLx样本数据标准化的公式为，,12,ijjiij iyxnL 1,2jp则上式可以记为 1212pi i i iyyyiipiLLxxxL21*,.)jynj jiLjpXj ij中: (则有 ,12,jjyLp3.11 研究货运总量 y（万吨）与工业总产值 x1（亿元） 、农业总产
10、值 x2（亿元） 、居民非商品支出 x3（亿元）的关系。数据见表3.9（略） 。（1）计算出 y，x1，x2，x3 的相关系数矩阵。SPSS 输出如下：1 .556 .731* .724*.095 .016 .01810 10 10 10.556 1 .113 .398.095 .756 .25410 10 10 10.731* .113 1 .547.016 .756 .10110 10 10 10.724* .398 .547 1.018 .254 .10110 10 10 10Pearson CorrelationSig. (2-tailed)NPearson CorrelationSi
11、g. (2-tailed)NPearson CorrelationSig. (2-tailed)NPearson CorrelationSig. (2-tailed)Nyx1x2x3y x1 x2 x3Correlation is significant at the 0.05 level (2-tailed).*. 则相关系数矩阵为：673.24.1.0.98073.5.24.98.471r（2）求出 y 与 x1，x2，x3 的三元回归方程。Coefficientsa-348.280 176.459 -1.974 .0963.754 1.933 .385 1.942 .1007.101 2
12、.880 .535 2.465 .04912.447 10.569 .277 1.178 .284(Constant)x1x2x3Model1 B Std. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientst Sig.Dependent Variable: ya. 对数据利用 SPSS 做线性回归，得到回归方程为123348.75.0.47yxx（3）对所求的方程作拟合优度检验。Model Summary.898a .806 .708 23.44188Model1 R R Square AdjustedR Square St
13、d. Error ofthe EstimatePredictors: (Constant), x3, x1, x2a. 由上表可知，调整后的决定系数为 0.708，说明回归方程对样本观测值的拟合程度较好。（4）对回归方程作显著性检验； b13655.370 3 4551.790 8.283 .015a3297.130 6 549.52216952.500 9Model1 F Sig.Predictors: (Constant), x3, x1, x2a. Dependent Variable: yb. 原假设： 3210HF统计量服从自由度为（3，6）的F分布，给定显著性水平 =0.05，查表
14、得 ,由方查分析表得，F值=8.2834.76，p值76.4)(05.=0.015，拒绝原假设 ，由方差分析表可以得到0H，说明在置信水平为95%下，回归方程显著。8.23,0.15.FP（5）对每一个回归系数作显著性检验； a-348.280 176.459 -1.974 .0963.754 1.933 .385 1.942 .1007.101 2.880 .535 2.465 .04912.447 10.569 .277 1.178 .284(Constant)x1x2x3Model1 B Std. ErrorUnstandardizedCoefficientsBetaStandardiz
15、edCoefficientst Sig.Dependent Variable: ya. 做t检验：设原假设为 0iH，i统计量服从自由度为n-p-1的t分布，给定显著性水平0.05，查得单侧检验临界值为1.943，X1的t值=1.9421.943。拒绝原假设。由上表可得，在显著性水平 时，只有 的P值0.05,通过检验，0.52x即只有 的回归系数较为显著 ；其余自变量的P值均大于0.05，即2xx1，x2的系数均不显著。第四章4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘
16、回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由 OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法：4.4 简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：iw（2）ni ipiip xxywQ1 21010 )( ),( 加权最小二乘估计就是寻找参数 的估计值 使式p,10 pww,10（2）的离差平方和 达极小。所得加权最小二乘经验回归方程记做w（3）pwwxxy10多元回归模型加权最小二乘法的方法:220111()()NNwiiiiQyyx2_2_02()11,iwiiiwwkxiiimiiiyi=中中
