1、 1 第四章 方差分量线性回归模型 本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。我们先从随机效应角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。最后本章介绍关于方差分量模型的两个前沿研究成果，是作者近期在应用数学学报与国际数学杂志 Communications in Statistics上发表的。 第一节 随机效应与方差分量模型 一、随机效应回归模型 前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。我们从资料对npiii XXY 11 , 出发建立回归模型，过去一直是把 Y 看作随机的， X1， Xp 看作非随机的。但是实际上，自变量也经常是随机的，
2、而并不是我们可以事先设计好的设计矩阵。我们把自变量也是随机变量的回归模型称为随机效应回归模型。 究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。比如一般情况下消费函数可写为 )(0 TXbCC （ 4.1.1） 这里 X 是居民收入， T 是税收， C0 是生存基本消费， b 是待估系数。加上随机扰动项，就是一元线性回归模型 )(0 TXbCC （ 4.1.2） 那么自变量到底是固定效应还是随机效应 ?那要看你采样情况。如果你是按一定收入的家庭去调查他的消费，那是取设计矩阵，固定效应。如果你是随机抽取一些家庭，不管他收入如何都登记他的收入与消费，那就是随机效应。 对于随机效应的
3、回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。 我们希望通过 X 预测 Y，也就是要寻找一个函数 ),()( 1 pXXMXMY ，当 X 的观察值为 x 时，这个预测的误差平均起来应达到最小，即 22 )(m in)( XLYEXMYE L （ 4.1.3） 2 这里 min 是对一切 X 的可测函数 L(X)取极小。由于当 )|()( XYEXM （ 4.1.4） 时，容易证明 0)()()( XLXMXMYE （ 4.1.5） 故当 )|()( XYEXM 时， 222 )()()()( XLXMEXMYEXLYE （ 4.1.6） 要使上式左边极小，只有取 )|
4、()()( XYEXMXL 。 这个结果告诉我们，预测函数取作条件期望 E(Y|X)时，可使预测误差最小。我们还可以证明，此时 M(X)=E(Y|X)与 Y 具有最大相关，即 )(,( m a x)(,( L XLYXMY （ 4.1.7） 这里表示相关系数。 这是因为当 )|()( XYEXM 时，易证 )(),(Co v)(,(Co v XLXMXLY , 同时)(),(C o v)(,(C o v XMXMXMY ,于是 )(,( )(,()(),( )()()()()()()(),(C o v)()()(,(C o v)()()(,(C o v)(,(2222222XMYXMYXLXM
5、XMDXMDYDXMDXLDXMDXLXMXLDYDXLMXLDYDXLYXLY等号当且仅当 1|)(),(| XLXM （ 4.1.8） 时成立，此时 L(X)是 M(X)的线性函数。 (4.1.3)与 (4.1.7)表达了 )|()( XYEXM 的极好性质，我们称 )|()( XYEXMY （ 4.1.9） 为 Y 关于 X 的回归曲线。 上面的 L(X)可取一切函数。如果限定 L(X)是 X 的线性函数，即要限定 3 L2110 m in|)(| mm XXYE （ 4.1.10） 这里Lmin是对 X 的一切线性函数取极小，则称满足上式的线性函数为 Y 关于 X 的回归直线。我们可以
6、 求出 m , 10 的解。记 ),( 1 m ，则 |)(|),( 21100 mm XXYEL )(22 YDRRb XYXX （ 4.1.11） 这里 )()( 110 mm EXEXYEb （ 4.1.12） )( EXXEXXER XX )(D ),(C o v ),(C o v),(C o v ),(C o v 211211mmmmXXXXXXXXXDX（ 4.1.13） ),(C o v,),(C o v( 1 mXY XYXYR （ 4.1.14） 对 L( 0， )求微分 (矩阵微商公式 AXAXXX 2)( )得： XYXX RRb 0 （ 4.1.15） 解得 XYXX
7、RRXEEY10 )( （ 4.1.16） 这里当然假定 1XXR 存在，否则使用广义逆。 此时的预测误差方差是 )(2 |)(|),( 21100YDRRXXYELXYXYmm XYXXXYY RRR 12 （ 4.1.17） YXYXXXYXY RRR /)( 211 （ 4.1.18） 4 为复相关系数。它指出了 Y与多元变量 mXXX ,1 之间的线性相关程度，是一元相关系数 DYYXrXY DX ),(Cov（ 4.1.19） 的推广。 从条件期望角度我们导出的随机效应回归模型的回归直线表达式，与从最小二乘角度导出的固定效应的回归方程，表达式是等价的，所以从计算角度，我们不怎么区分。
8、 二、方差分量模型概念 上段我们建立了随机效应概念，将自变量也视作随机 变量，这就可以导出方差分量模型。方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭 马录 先生。 还是刚才提到的消费函数回归模型，我们作随机抽样。考虑居民按职业的分类，如工人、教师、医生、律师、店员等等，记为 miX i ,1, ，我们从这些职业中随机抽取了 n 个样本，则模型可写为 minjTXbCC ijiiij ,1,1 ,)(0 （ 4.1.20） 这里 Xi 可看作是第 i 种职业对收入的效应。如果我们事先安排好取哪个职业的，当然 Xi 是固定效应。可是我们现在对职业选取是随机的，而且我们还 想研究职业效应的
9、方差，这就导入了方差分量模型，因为现在 Cij的方差由两部分组成： 22220)(V a r Xij bC （ 4.1.21） 为了数学符号统一，我们将经济学中的符号改过来，刚才建立的模型是 njmiUY ijiij ,1,1 ,11 （ 4.1.22） 它有一项固定效应 ，一项随机效应 1，一项随机误差 。如果还要考虑地区因素对消费的影响，还可以加进第二个随机效应 2，于是可得模型 2211 UUY （ 4.1.23） 这 次我们省掉了取值的标记， Y 的方差由三项组成。 一般地，我们建立方差分量模型如下： mmUUXY 11 （ 4.1.24） 这里有固定效应向量 ，随机效应向量 ),(
10、21 m （ 4.1.25） 并且将随机误差项也并入了随机效应向量去。设计矩阵 X 以及 5 ),( 21 mUUUU （ 4.1.26） 都是已知的。对于随机效应 mii ,1, ,合理的假定是 miDjiEiijii ,1,)( ,0),(C o v,0)(2 （ 4.1.27） 当然以后有时还可以考虑 i 是向量的情况，不过这里假定每个 i 是一维变量。记 mmiii VVmiUUV 2121 ,1, ， （ 4.1.28） 则方差分量模型可记为 )(V a r ,)( YXYE （ 4.1.29） 模型的主要任务是要估计固定效应向量 与方差分量 22221 , m 。和一般的多元线性回
11、归模型相比，就是待估的方差多了。 通过这些介绍，我们就可以方便地将各种经济方面的普 通线性回归模型改造成方差分量模型，当然要根据实际。 第二节 方差分量模型的解法 对于方差分量模型 iiimip mpn mppnppnnUUYXYEUUXYmm21111111)(V a r ,)(11 （ 4.2.1） 一般都采用二步估计法，首先估计方差分量 221 , m ，然后再估计固定效应 。按照广义最小二乘 YXXX 11 )(* （ 4.2.2） 其中 iiimi UU 21 （ 4.2.3） 所以方差分量模型解法的关键是估计方差分量。以下介绍的方 法，也都是针对方差分量估计方法而言的。 6 一、方
12、差分析法 先从一个简单的模型结合数据结构形象地说明方法。考虑模型 njmiY ijiij ,1,1 ,0 （ 4.2.4） 0 为总平均，是固定效应， 1,， m 是随机效应， jiE jii ,0),(C o v,0 ，miAi ,1,)(V a r 2 。对于随机误差 2)(Var, ijij 。这个模型如果记作方差分量模型的标准形式是 UXY 0 （ 4.2.5） 其中设计阵 X=(1,1,， 1)，随机效应矩阵为 mU1 0 1 1 01 00 10 0 1mkk（ 4.2.6） 我们手中资料只有 ),( 221111 mkkk YYYYYY 我们采用 (4.2.4)记法方便一些，将资
13、料 Y 排成表 j i 1 2 k 组内平均 1 Y11 Y12 Y1k 1Y 2 Y21 Y22 Y2k 2Y m Ym1 Ym2 Ymk mY 7 方差分析主要掌握三点，一是计算组内差、组间差，二是作平方和分解，三是计算各自的自由度。 先计算总平均： ijkjmi YmkY 111 （ 4.2.7） 总变差 (全体资料与总平均的偏差平方和 )： 211 )( YYS ijkjmiT（ 4.2.8） 各组平均 (各组资料横向相加并平均 ) miYkY ijkji ,1 ,1 1 （ 4.2.9） 组间差 (各组平均数与总平均数的偏差平方和 ) )(11 YYS imikjA （ 4.2.10
14、） 组内差 (各组数据与本组平均数的偏差平方和 ) 211 )( iijkjmi YYS （ 4.2.11） 则必有平方和分解 SSS AT （ 4.2.12） 将各平方和除以各自的自由度。 ST 有一个约束 .Y (4.2.7)，自由度为 11 mkn ； SA有 m 组差， 1 个约束，自由度为 m 1； Se有 mk 组差， m 个约束，自由度为 mk-m。注意有自由度分解： )()1(1 , mmkmmkfff eAT （ 4.2.13） TT SmkQ 11（ 4.2.14） AA SmQ 11（ 4.2.15） SmmkQ 1（ 4.2.16） 因为假定为随机效应，可以算出各均方的
15、均值： 8 22)( kQE A （ 4.2.17） 2)( QE （ 4.2.18） 以 AQ 代者 )( AQE ， Q 代替 )( QE ，得方程组： Q Qk AA2 22 （ 4.2.19） 解得 kQQQ AAe /)( , 22 （ 4.2.20） 这样就作好了方差分量的估计，然后可以按 (4.2.2)作出 的估计。因为这里的方差分量是由方差分析法作出的，故称为方差分析法。 推广到一般的方差分量模型时，基本原则是类似的。我们不妨考虑方差分量模型 IUUUUY UUXY222221121 2211)(C o v （ 4.2.21） 先对总平方和 Y Y 作平方和分解 SSSSYY
16、21 （ 4.2.22） 其中 S 是在模型 Y=X + 中， 的回归平方和： YXXXXYSS ES )()( （ 4.2.23） 1S 是在模型 11UXY 中，消去 影响后 1 的平方和 )(),( 11 ESES SSS （ 4.2.24） 类似地， 2S 是在模型 2211 UUXY 中消去 和 1 影响后， 2 的平方和： ),(),( 1212 ESES SES （ 4.2.25） 最后的 S 为残差平方和 ),( 21 ESSYYS （ 4.2.26） 可以验证 YDIYS )( （ 4.2.27） YDDYS )( 11 （ 4.2.28） 9 YDDYS )( 1212 （
17、 4.2.29） YDYS 12 （ 4.2.30） 这里 XPIXXXXID )( （ 4.2.31） 111111 )( DUPDDUDUUDUDD （ 4.2.32） 2111221221112 )( UDPDDUUDUUDDD （ 4.2.33） 这里 P*表示关于 *的投影阵。 下面计算各平方和的均值。 22222111121111222222111111)t r ()(tr )(tr)( )(tr)()(DUUUDUDUUXDDXIUUUUDDXDDXSE2122212 )(tr)(tr DDUDU （ 4.2.34） 因为 0,0 1 XDDX ，所以上式第一项为 0。在第三 项
18、中， 0)(tr)(tr 11111111111 DUUDUUDUUDUUUDU （ 4.2.35） 在第六项中 )(rk) (rk )(rk)(rk )(tr )(tr)(tr11111111111111111111XXUDUUDUUDUUDUDUUDUUDDD)(rk) (rk 1 XXU （ 4.3.36） 所以最后有 2222322111 )()( rcccSE （ 4.3.37） 其中 )(tr 111 DUUc （ 4.2.38） 10 )(tr 222 DUUc （ 4.2.39） )(tr 2123 UDUc （ 4.2.40） )|(rk ),(rk 1211 XUrrXr
19、（ 4.2.41） 类似还可以求得 232222)( rcSE （ 4.2.42） 2321 )()( rrrnSE （ 4.2.43） 21213 ) (rk rrUUXr （ 4.2.44） 于是我们得到方程组 23212322222222322111)()(rrrnSrcSrcccS（ 4.2.45） 解此方程组，就可以得到 22221 , 的估计。然后进入二步估计的第二步，就可以得到关于固定效应的估计。 算例 4.2.1 市场收益率与股利和换手率的关系 考虑一个随机效应的多元线性模型 111 mmnppnn UXY U 的形式如同 (4.2.6)。 问题的实际背景是，观测对象被分成了 m 组，可能存在一个随机效应向量对各组资料有不同的作用。模型也可以写作 kjmiXY ijiijij ,1,1 , 数据结构及具体数值如下表所示， m=6,k=6。这些资料采自 96 上海股票市场资料总汇。 我们研 究目的一是看过去一年的股利收入与当年换手率对当年市场收益率有何影响，二是想知道是否存在一个潜在的尚未观测到的随机效应，对行业有明显影响。当然这种情况采用方差分量模型比较合适。 要注意本例是两个方差量，上一章第二节模型 (3.2.10)也是两个待估的方差量。它们的随机效应作用范围不一样，不是一回事。
