1、1第四章 方差分量线性回归模型本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。我们先从随机效应角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。最后本章介绍关于方差分量模型的两个前沿研究成果，是作者近期在应用数学学报与国际数学杂志Communications in Statistics 上发表的。第一节 随机效应与方差分量模型一、随机效应回归模型前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。我们从资料对出发建立回归模型，过去一直是把 Y 看作随机的，X 1，X p看作非随机npiiiXY11,的。但是实际上，自变量也经常是随机的，而并不是我们可以事先设计
2、好的设计矩阵。我们把自变量也是随机变量的回归模型称为随机效应回归模型。究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。比如一般情况下消费函数可写为（4.1.1）)(0TXbC这里 X 是居民收入，T 是税收，C 0 是生存基本消费，b 是待估系数。加上随机扰动项，就是一元线性回归模型（4.1.2）)(0那么自变量到底是固定效应还是随机效应?那要看你采样情况。如果你是按一定收入的家庭去调查他的消费，那是取设计矩阵，固定效应。如果你是随机抽取一些家庭，不管他收入如何都登记他的收入与消费，那就是随机效应。对于随机效应的回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归函
3、数。我们希望通过 X 预测 Y，也就是要寻找一个函数 ，当 X 的),()(1pXMY观察值为 x 时，这个预测的误差平均起来应达到最小，即（4.1.3）22)(min)(LEXMEL2这里 min 是对一切 X 的可测函数 L(X)取极小。由于当（4.1.4）)|()XYEM时，容易证明（4.1.5）0)()(LYE故当 时，)|()XM（4.1.6）222 )()( XMEXL要使上式左边极小，只有取 。|)Y这个结果告诉我们，预测函数取作条件期望 E(Y|X)时，可使预测误差最小。我们还可以证明，此时 M(X)=E(Y|X)与 Y 具有最大相关，即（4.1.7）, max)(,L这里 表
4、示相关系数。这是因为当 时，易证 ,同时)|() )(,(Cov)(,ovXLMXY,于是,Cov(,ovXXY)(, )(,)()(,(ov )(,C),222 222XMYXYLMDDLLY等号当且仅当（4.1.8）1|)(,(| 时成立，此时 L(X)是 M(X)的线性函数。(4.1.3)与(4.1.7)表达了 的极好性质，我们称)|(XYE（4.1.9）)|(Y为 Y 关于 X 的回归曲线。上面的 L(X)可取一切函数。如果限定 L(X)是 X 的线性函数，即要限定 L210 min|)(| mYE（4.1.10）3这里 是对 X 的一切线性函数取极小，则称满足上式的线性函数为 Y 关
5、于 X 的回归直线。Lmin我们可以求出 的解。记 ，则m,10 ),(1m |)|)( 200 mXYE（4.1.11）(22 YDRb这里（4.1.12）)()10mEY )(XERX（4.1.13） )(D ),(Cov ),(Cov ,Cov , 21 11 mmmXD （4.1.14）,ov,1XY XYR对 L( 0， )求微分(矩阵微商公式 )得：A)(（4.1.15）XYRb0解得（4.1.16）XYE10)(这里当然假定 存在，否则使用广义逆。1XR此时的预测误差方差是 )(2 |(|),( 2100 YDRELXXYm（4.1.17）12（4.1.18）YXYX/)(21为
6、 复 相 关 系 数 。 它 指 出 了 Y 与 多 元 变 量 之 间 的 线 性 相 关 程 度 ， 是 一 元 相 关 系 数m,14（4.1.19）DYXrXY),(Cov的推广。从条件期望角度我们导出的随机效应回归模型的回归直线表达式，与从最小二乘角度导出的固定效应的回归方程，表达式是等价的，所以从计算角度，我们不怎么区分。二、方差分量模型概念上段我们建立了随机效应概念，将自变量也视作随机变量，这就可以导出方差分量模型。方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭 马录 先生。还是刚才提到的消费函数回归模型，我们作随机抽样。考虑居民按职业的分类，如工人、教师、医生、律师、店
7、员等等，记为 ，我们从这些职业中随机抽取了 n 个样miX,1,本，则模型可写为（4.1.20）minjTbCijiiij ,1, ,)(0 这里 Xi可看作是第 i 种职业对收入的效应。如果我们事先安排好取哪个职业的，当然 Xi是固定效应。可是我们现在对职业选取是随机的，而且我们还想研究职业效应的方差，这就导入了方差分量模型，因为现在 Cij的方差由两部分组成：（4.1.21）220)(VarXijb为了数学符号统一，我们将经济学中的符号改过来，刚才建立的模型是（4.1.22）njmiUYijiij ,1, ,1 它有一项固定效应 ，一项随机效应 1，一项随机误差 。如果还要考虑地区因素对消
8、费的影响，还可以加进第二个随机效应 2，于是可得模型（4.1.23）21这次我们省掉了取值的标记，Y 的方差由三项组成。一般地，我们建立方差分量模型如下：（4.1.24）mUXY1这里有固定效应向量 ，随机效应向量（4.1.25）),(21并且将随机误差项 也并入了随机效应向量去。设计矩阵 X 以及（4.1.26）),(21mU都是已知的。对于随机效应 ,合i,理的假定是5（4.1.27）miDjiEi jii ,1,)(0)(Cov02当然以后有时还可以考虑 i是向量的情况，不过这里假定每个 i是一维变量。记， （4.1.28）mii VUV212 , 则方差分量模型可记为（4.1.29）)
9、(ar ,)(YXYE模型的主要任务是要估计固定效应向量 与方差分量 。和一般的多元线性回221,m归模型相比，就是待估的方差多了。通过这些介绍，我们就可以方便地将各种经济方面的普通线性回归模型改造成方差分量模型，当然要根据实际。第二节 方差分量模型的解法对于方差分量模型（4.2.1） iimpnpnpn UYXYEU211111)(Var ,)(一般都采用二步估计法，首先估计方差分量 ，然后再估计固定效应 。按照广义2,m最小二乘（4.2.2）YX11)(*其中（4.2.3）iimU21所以方差分量模型解法的关键是估计方差分量。以下介绍的方法，也都是针对方差分量估计方法而言的。一、方差分析法
10、先从一个简单的模型结合数据结构形象地说明方法。考虑模型6（4.2.4）njmiYijiij ,1, ,0 0 为总平均，是固定效应， 1,， m是随机效应， ，jiEjii ,0)(Cov0。对于随机误差 。这个模型如果记作方差分量iAi ,)(Var2 2)(Var,ijij模型的标准形式是（4.2.5）UXY0其中设计阵 X=(1,1,，1)，随机效应矩阵为（4.2.6）mU 1 0 10 1kk我们手中资料只有 ),(211 kkkYY我们采用(4.2.4)记法方便一些，将资料 Y 排成表ji 1 2 k 组内平均1 Y11 Y12 Y1k 12 Y21 Y22 Y2k 2 m Ym1
11、Ym2 Ymk m方差分析主要掌握三点，一是计算组内差、组间差，二是作平方和分解，三是计算各自的自由度。先计算总平均： ijkmiY 1（4.2.7）7总变差(全体资料与总平均的偏差平方和 )：（4.2.8）21)(YSijkjmiT各组平均(各组资料横向相加并平均 )（4.2.9）ikYiji , ,1组间差(各组平均数与总平均数的偏差平方和 )（4.2.10）)(1YSimikjA组内差(各组数据与本组平均数的偏差平方和 )（4.2.11）21)(iijkjmi则必有平方和分解（4.2.12）SAT将各平方和除以各自的自由度。S T有一个约束 (4.2.7)，自由度为 ；S A.Y1mkn
12、有 m 组差，1 个约束，自由度为 m 1；S e 有 mk 组差，m 个约束，自由度为 mk-m。注意有自由度分解：（4.2.13）)()1 , kkffeAT 于是算出均方：（4.2.14）TTSmQ（4.2.15）AA1（4.2.16）k因为假定为随机效应，可以算出各均方的均值：（4.2.17）2)(QEA（4.2.18）以 代者 ， 代替 ，得方程组：AQ)(AE)(QkAA2（4.2.19）8解得（4.2.20）kQAe /)( ,22 这样就作好了方差分量的估计，然后可以按(4.2.2)作出 的估计。因为这里的方差分量是由方差分析法作出的，故称为方差分析法。推广到一般的方差分量模型
13、时，基本原则是类似的。我们不妨考虑方差分量模型（4.2.21）IUYX2212)(Cov先对总平方和 Y Y 作平方和分解（4.2.22）SS21其中 S 是在模型 Y=X + 中， 的回归平方和：（4.2.23）YXES)()(是在模型 中，消去 影响后 1 的平方和1 1U（4.2.24）)(),(ESES类似地， 是在模型 中消去 和 1 影响后， 2 的平方和：2S21XY（4.2.25）),(),(2ESES最后的 S 为残差平方和（4.2.26）),(21ESY可以验证（4.2.27）DI)(（4.2.28）YS11（4.2.29）)(22（4.2.30）D1这里（4.2.31）X
14、PIXI)(（4.2.32）1111 DUUD9（4.2.33）211212112 )( UDPUDD这里 P*表示关于*的投影阵。下面计算各平方和的均值。 22211 1122111 )tr()(tr )(tr)()( DUUXISE（4.2.34）12 因为 ，所以上式第一项为 0。在第三项中，0,1XD（4.2.35）0)(tr)(tr 11111 U在第六项中 )(rk) (rk t r)(t111111 XUD（4.3.36）所以最后有（4.3.37）23211)()( rccSE其中（4.2.38）)(tr11DU（4.2.39）22c（4.2.40）)(tr13（4.2.41）|
15、(k ),rk21 XUX类似还可以求得（4.2.42）232)(rcSE（4.2.43）1)n10（4.2.44）21213 ) (rkrUX于是我们得到方程组（4.2.45）23212 231)( rnScc解此方程组，就可以得到 的估计。然后进入二步估计的第二步，就可以得到关于21,固定效应的估计。算例 4.2.1 市场收益率与股利和换手率的关系考虑一个随机效应的多元线性模型 111 mnpnUXYU 的形式如同(4.2.6) 。问题的实际背景是，观测对象被分成了 m 组，可能存在一个随机效应向量对各组资料有不同的作用。模型也可以写作 kjiXYjiijij ,1, , 数据结构及具体数
16、值如下表所示，m =6,k=6。这些资料采自96 上海股票市场资料总汇 。我们研究目的一是看过去一年的股利收入与当年换手率对当年市场收益率有何影响，二是想知道是否存在一个潜在的尚未观测到的随机效应，对行业有明显影响。当然这种情况采用方差分量模型比较合适。要注意本例是两个方差量，上一章第二节模型(3.2.10)也是两个待估的方差量。它们的随机效应作用范围不一样，不是一回事。表 4.2.1 1996 年股市资料类别 股号 股名 1996 年收益率% 1995 年股利% 1996 年日换手率628 新世界 64.769 20 3.12631 中百一店 46.845 11.8 1.68632 华联商厦 41.958 11.3 1.81655 豫园商城 16.195 11.2 1.10682 新百公司 79.911 5.2 3.36商业类694 大连商场 91.388 5.8 4.26602 真空电子 33.112 10 3.52电子651 飞乐音响 8.108 0 1.95
