1、实用回归分析第四版第一章 回归分析概述1.3 回归模型中随机误差项的意义是什么？答：为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为一个随机方程，使得我们可以借助随机数学方法研究y与x1,x2.xp的关系，由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。1.4 线性回归模型的基本假设是什么？答：线性回归模型的基本假设有：1.解释变量x1.x2.xp是非随机的，观测值xi1.xi2.xip是常数。2.等方差及不相关的假定条件为E(i)=0 i=1,2. Cov(i,j)=23.
2、正态分布的假定条件为相互独立。4.样本容量的个数要多于解释变量的个数，即np.第二章 一元线性回归分析思考与练习参考答案 2.1 一元线性回归有哪些基本假定?答： 假设1、解释变量X是确定性变量，Y是随机变量； 假设2、随机误差项具有零均值、同方差和不序列相关性： E(i)=0 i=1,2, ,n Var (i)=s2 i=1,2, ,n Cov(i, j)=0 ij i,j= 1,2, ,n 假设3、随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, ,n 假设4、服从零均值、同方差、零协方差的正态分布 iN(0, s2 ) i=1,2, ,n2.3 证明（2.27式
3、），Sei =0 ，SeiXi=0 。证明：其中：即： Sei =0 ，SeiXi=02.5 证明是0的无偏估计。证明：2.6 证明证明：2.7 证明平方和分解公式：SST=SSE+SSR证明：2.8 验证三种检验的关系，即验证：（1）；（2）证明：（1）（2）2.9 验证（2.63）式：证明：其中：2.10 用第9题证明是s2的无偏估计量证明：第三章1.一个回归方程的复相关系数R=0.99，样本决定系数R2=0.9801，我们能判断这个回归方程就很理想吗？答：不能断定这个回归方程理想。因为：1. 在样本容量较少，变量个数较大时，决定系数的值容易接近1，而此时可能F检验或者关于回归系数的t检验
4、，所建立的回归方程都没能通过。2. 样本决定系数和复相关系数接近于1只能说明Y与自变量X1,X2,Xp整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F检验和t检验。3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得 R2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的R2的增大与拟合好坏无关。2.被解释变量的期望值与解释变量的线性方程为： (3-2)称为多元总体线性回归方程，简称总体回归方程。对于组观测值，其方程组形式为： (3-3)即其矩阵形式为=+即 (3-4)其中为被解释变量的观测值向量；为解释变量的观测
5、值矩阵；为总体回归参数向量；为随机误差项向量。多元回归线性模型基本假定：课本P57第四章4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计
6、，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法：4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数 ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为： （2）加权最小二乘估计就是寻找参数的估计值使式（2）的离差平方和达极小。所得加权最小二乘经验回归方程记做 （3） 多元回归模型加权最小二乘法的方法:
7、首先找到权数，理论上最优的权数为误差项方差的倒数,即 （4）误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的加权最小二乘估计就是参数的最小方差线性无偏估计。一个需要解决的问题是误差项的方差是未知的,因此无法真正按照式（4）选取权数。在实际问题中误差项方差通常与自变量的水平有关(如误差项方差随着自变量的增大而增大),可以利用这种关系确定权数。例如与第j个自变量取值的平方成比例时, 即=k时,这时取权数为 （5）更一般的情况是误差项方差与某个自变量(与|ei|的等级相关系数最大的自变量)取值的幂函数成比例，即
8、=k,其中m是待定的未知参数。此时权数为 （6）这时确定权数 的问题转化为确定幂参数m的问题，可以借助SPSS软件解决。第五章5.3 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣？答：如果所建模型主要用于预测，则应使用统计量达到最小的准则来衡量回归方程的优劣。5.4 试述前进法的思想方法。答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,.,xm建立m个一元线性回归方程, 并计算F检验值，选择偏回归平方和显著的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值
9、最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的三个变量（F值最大）进入回归方程。不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值F(1,n-p-1)，回归过程结束。5.5 试述后退法的思想方法。答：后退法的基本思想是：首先因变量Y对全部的自变量x1,x2,.,xm建立一个m元线性回归方程, 并计算t检验值和F检验值，选择最不显著（P值最大且大于临界值）的偏回归系数的自变量剔除出回归方程。每一步只剔除一个变量，再建立m1元线性回归方程，计算t检验值和
10、F检验值，剔除偏回归系数的t检验值最小（P值最大）的自变量，再建立新的回归方程。不断重复这一过程，直到无法剔除自变量时，即所有剩余p个自变量的F检验值均大于F检验临界值F(1,n-p-1)，回归过程结束。第六章消除多重共线性的方法7.2岭回归的定义及统计思想是什么？答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其统计思想是对于（XX）-1为奇异时，给XX加上一个正常数矩阵D, 那么XX+D接近奇异的程度就会比XX接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。7.3 选择岭
11、参数k有哪几种方法？答：最优是依赖于未知参数和的，几种常见的选择方法是： 岭迹法：选择的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多；方差扩大因子法：，其对角线元是岭估计的方差扩大因子。要让；残差平方和：满足成立的最大的值。7.4 用岭回归方法选择自变量应遵循哪些基本原则？答：岭回归选择变量通常的原则是：1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量；2. 当k值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随着k的增加迅速趋近于零。像这样岭回归系数不稳定、震动趋于零的自变量，我们也可以予以剔除；3. 去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定，究竟去掉几个，去掉那几个，要根据去掉某个变量后重新进行岭回归分析的效果来确定。8章主成分回归建模的思想与步骤偏最小二乘建模的思想与步骤两个论述，在课本上
