1、第六章 线性回归分析2010 级研究生：严飞学号：201011080122. 多元线性回归的显著性检验包括哪些内容？如何进行？答：经过查找资料并总结得出多元线性回归的显著性检验主要包括：拟合优度检验、方程显著性检验和变量显著性检验三种。(一)拟合优度检验(R 2检验)拟合优度检验是检验回归方程对样本观测值的拟合程度，即检验所有解释变量与被解释变量之间的相关程度。检验的方法是构造一个可以表征拟合程度的指标，这个指标是通过对总变差(总离差)的分解而得到。总变差平方和S 总 是各个观察值与样本均值之差的平方和，反映了全部数据之间的差异；残差平方和S 残 是总变差平方和中未被回归方程解释的部分，由解释
2、变量x l、x 2xk中未包含的一切因素对被解释变量y的影响而造成的；回归平方和S 回 是总变差平方和中由回归方程解释的部分。一个拟合得好的回归模型，体现在总体平方和与回归平方和的接近程度，即S 总 中S 残 越小越好。于是采用：对回归方程的拟合优度进行检验。如果所有样本观测值都位于回归方程上，即：此时回归方程完全拟合了样本观测值，R等于1。如果R越接近1，则说明回归方程的拟合优度越高。(二)方程显著性检验(F检验)方程显著性检验就是对模型中解释变量与被解释变量之间的线性关系在总体上是否显著成立作出推断。即检验被解释变量y与所有解释变量 x l、x 2xk 之间的线性关系是否显著，方程显著性检
3、验所应用的方法是数理统计学中假设检验。检验的原假设H 0与对立假设H 1分别为：H0： 0=1=k=0H1：至少有一个 1不为零应用数理统计理论可以证明：S 回 与S 残 相互独立，且当：H 0： 0=1=k=0为真时，S 回 与S 残分别服从自由度为k、n-k-1的X 2分布，故有：即：F统计量服从以(k、n-k-1)为自由度的F分布。首先根据样本观测值及回归值计算出统计量F，于是在给定的显著性水平下，若FF (K、n-k-1)，则拒绝H 0，判定被解释变量y与所有解释变量 x l、x 2xk之间的回归效果显著，即确实存在线性关系；反之，则不显著。(三)变量显著性检验(t检验)R2检验和F检
4、验都是将所有的解释变量作为一个整体来检验它们与被解释变量y的相关程度以及回归效果，但对于多元回归模型,方程的总体显著性并不意味每个解释变量对被解释变量y的影响都是显著的。如果某个解释变量并不显著，则应该从方程中把它剔除，重新建立更为简单的方程。所以必须对每个解释变量进行显著性检验。等价于对每个解释变量检验假设：H0: j=0H1: j0其中j=0，1，2k。应用数理统计理论可以证明：当:H 0: j=0为真时,统计量t j服从自由度为(n-k-1)的t分布，即:在给定的显著性水平下： 若t jt /2 (n-k-1)，则拒绝H 0,说明解释变量x j对被解释变量y有显著影响，即x j是影响Y的
5、主要因素；反之，接受 ，说明解释变量x j对被解释变量y无显著影响，则应删除该因素。当影响Y的主要因素只有一个变量x时,问题变成了元回归分析，此时t检验和F检验的作用是一样的，因此可以不用再做F检验。3. 如何建立多元线性回归方程？偏相关系数有何意义？答：（一） 建立多元线性回归方程的步骤可总结如下：1）确定研究目标，即明确建立回归方程的自变量变量和因变量，然后在一定样本中取得自变量与因变量所对应的观测值。通常，预测变量是现实中容易测量的，被预测变量则是现实中较难测量或是指未来发展的结果。2）利用散点图或相关分析确定自变量与因变量之间是否存在线性关系。3）利用确定的计算方法或计算机软件计算回归
6、方程的回归常数和回归系数，得到回归方程。4）进行拟合优度检验。就是检验样本数据聚集在样本回归线周围的密集程度，从而判断回归方程对样本数据的代表程度。多元线性回归方程中由于引入的自变量不同，所以比较不同回归方程的拟合度时需要使用调整后的拟合度判定系数。5）回归方程的显著性检验。回归方程显著性检验是对因变量与自变量之间线性关系是否显著的一种检验。检验方法采用方差分析 ：F 值等于平均的回归平方和与平均的残差平方和之比。6）对回归系数的显著性检验（t 检验） 。回归方程显著性检验是从总体上显示回归系数显著，多元线性回归，还需分别检验各回归系数的显著性。 （二）偏相关系数的意义 在多个相关变量中，其他
7、变量保持固定不变，所研究的两个变量间的线性相关称为偏相关。用来表示两个相关变量偏相关的性质与程度的统计量叫偏相关系数，绝对值越大，偏相关程度越大。根据被固定的变量个数可将偏相关系数分级，偏相关系数的级数等于被固定的变量的个数。1）当研究 2 个相关变量 x1、x 2 的关系时，用直线相关系数 r12 表示 x1 与 x2 线性相关的性质与程度。此时固定的变量个数为 0，所以直线相关系数 r12 又叫做零级偏相关系数。2）当研究 3 个相关变量 x1、x 2、x 3 的相关时，我们把 x3 保持固定不变，x 1 与 x2 的相关系数称为 x1 与 x2 的偏相关系数，记为 r12-3，类似地，还
8、有偏相关系数 r13-2、 r23-1。这 3 个偏相关系数固定的变量个数为 1，所以都叫做一级偏相关系数。3）当研究 4 个相关变量 x1、x 2、x 3、x 4 的相关时，须将其中的 2 个变量固定不变，研究另外两个变量间的相关。即此时只有二级偏相关系数才真实地反映两个相关变量间线性相关的性质与程度。二级偏相关系数共有 64C个：r 12-34，r 13-24，r 14-23，r 23-14，r 24-13，r 34-12。一般，当研究 m 个相关变量 x1、x 2、 、 、x m 的相关时，只有将其中的 m-2 个变量保持固定不变，研究另外两个变量的相关才能真实地反映这两个相关变量间的相
9、关，即此时只有m-2 级偏相关系数才真实地反映了这两个相关变量间线性相关的性质与程度。m-2 级偏相关系数共有 2/)(2Cm个。x i 与 xj 的 m-2 级偏相关系数记为 rij.(i,j=1,2,m,ij) 。偏相关系数的取值范围为-1，1 ，即：-1r ij.1。5. 如何将多项式回归转化为多元线性回归？多项式回归问题可以通过变量转换化为多元线性回归问题来解决。对于一元 m 次多项式回归方程（ 9-35） ，令 1x、 2= 、 mx= ，则（9-35 ）就转化为 m 元线性回归方程： 210 bbby因此用本章第一节的方法就可解决多项式回归问题。需要指出的是，在多项式回归分析中，检
10、验回归系数 bi 是否显著，实质上就是判断自变量 x 的 i 次方项 xi 对依变量 y 的影响是否显著。对于二元二次多项式回归方程（9-36） ，令 2152421321 xzxzzz 、，则（9-36）就转化为五元线性回归方程： 543210 zbzbzby 但随着自变量个数的增加,多元多项式回归分析的计算量急剧增加，于是就需要转化为多元线性回归方程进行分析了。下面是我找的一具体实例对一元二次多项式回归作详细介绍：（大体上了解了多项式回归转化为多元回归的具体过程，不过其中数学水平要求高,还是有些地方不是很清楚,会继续努力看明白的）【例 9.3】 给动物口服某种药物 A 1000mg，每间隔
11、 1 小时测定血药浓度（g/ml） ，得到表 9-5 的数据（血药浓度为 5 头供试动物的平均值） 。试建立血药浓度（依变量 y）对服药时间（自变量 x）的回归方程。表 9-5 血药浓度与服药时间测定结果表服 药 时 间 x（ 小 时 ） 1 2 3 4 5 6 7 8 9血药浓度 y(g/ml) 21.89 47.13 61.86 70.78 72.81 66.36 50.34 25.31 3.1722.7182 46.2563 62.2684 70.7545 71.7146 65.1487 51.0568 29.4389 0.2950y- -0.8282 0.8737 -0.4084 0.
12、0255 1.0954 1.2113 -0.7168 -4.1298 2.8750（一）根据表 9-5 的数据资料绘制 x 与 y 的散点图 (见下图)。由散点图我们看到：血药浓度最大值出现在服药后 5 小时，在 5 小时之前血药浓度随时间的增加而增加，在 5 小时之后随着时间的增加而减少，散点图呈抛物线形状，因此我们可以选用一元二次多项式来描述血药浓度与服药时间的关系，即进行一元二次多项式回归或抛物线回归。图 1 表 9-5 资料的散点图（二）进行变量转换 设一元二次多项式回归方程为： 210xby令 、 ，则得二元线性回归方程x122（三）进行二元线性回归分析 先计算得： 65.419y
13、,285x ,4521 x 83.23842 1.0452,.0,0131 yxxy再计算得： 867.3SP ,8.167SP ,.6SP 9200122305xx 4y于是得到关于 :21的 正 规 方 程 组 为、 b8067.230.6380.611bb求出上述正规方程组系数矩阵的逆矩阵为： 4.4.921cC关于 :21的 解 为、 b7630.8214 8067.23147.69 20121SPcb即： 7630.b ,821.34b而 3459.867.31.5.240 xy于是得到二元线性回归方程为： 20.82.49. xy现在对二元线性回归方程或二元线性回归关系进行显著性检
14、验。2010364.859SPbSRy320.8916.430.Rr6, Ryry dffdfndf列出方差分析表，进行 F 检验。表 9-6 二元线性回归关系方差分析表变异来源 SS df MS F回 归 4830.9162 2 2415.4581 511.750*离回归 28.3202 6 4.7200总变异 4859.2364 8由 查 F 值表得 ，因为 FF0.01(2,6)，P权重 拆分文件 输入工作数据文件中的 N 行 12对缺失的定义 用户定义的缺失值作为缺失数据对待。缺失值处理使用的案例 统计是在所使用的变量不带有缺失值的案例基础上进行的。语法 REGRESSION/MISS
15、ING LISTWISE/STATISTICS COEFF OUTS BCOV R ANOVA COLLIN TOL/CRITERIA=PIN(.05) POUT(.10) CIN(95)/NOORIGIN/DEPENDENT 销售额/METHOD=ENTER 年份 季度/SCATTERPLOT=(*SDRESID ,*ZPRED) (*ZRESID ,*ZPRED)/RESIDUALS HIST(ZRESID)/CASEWISE PLOT(ZRESID) OUTLIERS(3)/SAVE COOK LEVER MCIN ICIN.处理器时间 0:00:01.922已用时间 0:00:02.250所需内存 1644 个字节资源残差图需要额外内存 832 个字节COO_1 Cooks DistanceLEV_1 Centered Leverage ValueLMCI_1 销售额 的 95% 平均置信区间下限UMCI_1 销售额 的 95% 平均置信区间上限LICI_1 销售额 的 95% 单个置信区间下限创建或修改的变量UICI_1 销售额 的 95% 单个置信区间上限
