第七章 带有线性约束的多元线性回归模型及其假设检验(金融计量-浙大 蒋岳祥).doc

1、1第七章 带有线性约束的多元线性回归模型及其假设检验在本章中，继续讨论第五章的模型，但新的模型中，参数 满足 J 个线性约束集，R=q ，矩阵 R 有和 相一致的 K 列和总共 J 个约束的 J 行，且 R 是行满秩的，我们考虑不是过度约束的情况，因此，JK。带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束，进行检验，我们在本章的第一节中讨论。第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节

2、中讨论。第一节 线性约束的检验从线性回归模型开始，（1）Xy我们考虑具有如下形式的一组线性约束， JKJJJ Kqrrrr21 222 1121这些可以用矩阵改写成一个方程（2）qR作为我们的假设条件 。0HR 中每一行都是一个约束中的系数。矩阵 R 有和 相一致的 K 列和总共 J 个约束的J 行，且 R 是行满秩的。因此，J 一定要小于或等于 K。 R 的各行必须是线性无关的，虽然J=K 的情况并不违反条件，但其唯一决定了 ，这样的约束没有意义，我们不考虑这种情况。给定最小二乘估计量 b，我们的兴趣集中于“差异”向量 d=Rbq。d 精确等于 0 是不可能的事件（因为其概率是 0） ，统计

3、问题是 d 对 0 的离差是否可归因于抽样误差或它是否2是显著的。由于 b 是多元正态分布的，且 d 是 b 的一个线性函数，所以 d 也是多元正态分布的，若原假设为真，d 的均值为 0，方差为（3）RXRVarqRVard 12)()( 对 H0 的检验我们可以将其基于沃尔德（ Wald）准则： drJW12)()= )( qRbXqRb（4）在假设正确时将服从自由度为 J 的 分布(为什么?)。2直觉上，d 越大，即最小二乘满足约束的错误越大，则 统计量越大，所以，一个大2的 值将加重对假设的怀疑。2（5）MesKn22)(由于 未知， （4）中的统计量是不可用的，用 s2 替代 2，我们

4、可以导出一个FJ， （nK） 样本统计量，令（6）)/()( /212KnsnJqRbXqRbF分子是（1/J）乘（4）中的 W，分母是 1/（nK）乘（5）中的幂等二次型。所以，F 是两个除以其自由度的卡方变量的比率。如果它们是独立的，则 F 的分布是 FJ， （nK），我们前边发现 b 是独立于 s2 分布的，所以条件是满足的。我们也可以直接推导。利用（5）及 M 是幂等的这一事实，我们可以把 F 写为（7）)/()/( /(1KnJbRXRF由于3TXRb1)()(F 统计量是 的两个二次型的比率，由于 M 和 T 都服从正态分布)/( )/()/(且它们的协方差 TM 为 0，所以二次

5、型的向量都是独立的。F 的分子和分母都是独立随机向量的函数，因而它们也是独立的。这就完成了证明。消掉（6）中的两个 2，剩下的是检验一个线性假设的 F 统计量，)/(/)(1KneJqRbXqRbF（8）Js)()(12我们将检验统计量 JqRbXsRqbKnJF )()()(, 12和 F 分布表中的临界值相比较，一个大的 F 值是反对假设的证据。注意：将 wald 统计量中的 用 去替代，相应的就将 J 维的卡方分布转换为维度为2s（J,n-K）的 F 分布。第二节 参数带有约束的最小二乘估计一、带有约束的最小二乘函数在许多问题中，要求其中的未知参数 满足某特定的线性约束条件：R=q，这里

6、 R是 JK 矩阵（JK） ，并假定它的秩为 J 维向量，常常希望求 的估计 ，使得（9）2:2minXYXYqR满足条件（9）的称为 的具有线性约束 R=q 的最小二乘估计。解 的问题实际上是在约束条件R=q下求 nimjjiixYXYf1212的限制极值点问题。4这个问题的一个拉格朗日解可写作 )(2)()(* qRXyS解 b*和 将满足必要条件 02)(2* by)(*qRS展开可以得到分块矩阵方程 qyXbRX*0或Wd*=v假定括号中的分块矩阵是非奇异的，约束最小二乘估计量d*=W-1vbwhere 111 1111 )()()( )()()( RXXRXW的解。此外，若 XX 是

7、非奇异的，则用分块逆公式可以得到 b*和 的显示解)()()( )()( )()()()(11 111 111 1111* qRbXRb qRXXy qRXey 和 )()(1qRbX5格林和西克斯（1991）表明 b*的协方差矩阵简单地就是 乘以 W-1 的左上块，在 XX 是2非奇异的通常情况下，再一次可以得到一个显性公式，111212* )()()()( RXRXVar这样，（一个非负定矩阵） ，*bVarVarb*的方差比 Varb小的一个解释是约束条件提供了更多的信息价值。二、对约束的检验的另一个方法令 ，我们来计算新的离差平方和 。*Xbye*e)()(*bXbXye则新的离差平方

8、和是 ee )()(*2kn2)(Jkne因为新的模型中参数的个数为 k-J 个，J 个榆树条件是原模型中的 J 个参数可以被其他 k-J 个表示。（此表达式中的中间项含有 Xe，它是 0） 。这说明我们可以将一个约束检验基于拟合的损失。这个损失是， )()()(1* qRbXqRb 这出现在前边推导的 F 统计量的分子上，我们得到统计量的另一个可选形式。可选形式是 )/(,*KneJnJ最后，以 SST= 除 F 的分子和分母，我们得到第三种形式，2)(y)/(1(,2*nRJnJ6由于两个模型的拟合之差直接体现在检验统计量中，这个形式具有一些直观吸引力。实例对数变换生产函数所有科布道格拉斯

9、模型的一般化是如下的对数变换模型， 2lnln2llnlln 6254321 KLLKLY（10） 无约束回归的结果在表 1 中给出。表 1 无约束回归的结果回归标准误差 0.17994残差平方和 0.67993R 平方 0.95486调整 R 平方 0.94411变量 系数 标准误差 t 值常数项 0.944216 2.911 0.324LnL 3.61363 1.548 2.334LnK 1.89311 1.016 1.863L2ln1 0.96406 0.7074 1.363K0.08529 0.2926 0.291lnLlnK 0.31239 0.4389 0.71系数估计量的估计协方

10、差矩阵常数项 lnL lnK Ln2L/2 Ln2K/2 lnLlnK常数项 8.472LnL 2.388 2.397LnK 0.3313 1.231 1.033L2ln1 0.08760 0.6658 0.5231 0.5004K0.2332 0.03477 0.02637 0.1467 0.08562lnLlnK 0.3635 0.1831 0.2255 0.2880 0.1160 0.1927考虑了约束条件 的模型就可以得到科布一道格拉斯模型：0654（11）KLYlnlln321这是一个条件约束下的无条件的多元线性回归模型。就可以用一般线性回归的方法求解模型。假如我们通过有约束条件下的

11、无条件的多元线性回归模型得到：7，而且 nK=21，则科布道格拉斯模型假设的 F 统计量是85163.0*e768.12/79.3)(2, F查自 F 分布表的 5%临界值是 3.07，所以我们不能拒绝科布道格拉斯模型是适当的这一假设。考虑了约束条件 和条件 的模型就是满足规模效应的科0654132布道格拉斯生产函数。这个模型可以推导如下：（12）ln(lnl)1ll212213KLLY假如我们通过有约束条件下的无条件的多元线性回归模型得到：，而且 nK=21，则科布道格拉斯模型假设的 F 统计量是89172.0*e635.1/63.4)9(,4 F查自 F 分布表的 5%临界值是 2.85，

12、所以我们不能拒绝科布道格拉斯模型是规模效应的生产函数的这一假设。第三节 结构变化与邹至庄检验(Structure Change and Chou-Test)一、问题提出我们经常碰到这样的问题。某项政策的出台及实施，其效果如何？不同地区或不同时期内，我们分别可以得到这两个地区或时期的观测值，我们的问题是：这两个地区或时期的情况是否不同，经济结构有无差异。这类问题，被华人经济学家邹至庄用构造的 F 检验解决了（1960 年） 。这样的 F 检验的统计量，就称为邹至庄检验（Chou-Test） 。二、问题的模型表述设 分别表示这两个时期的观测值，允许两个时期中系数不同的无约束回12( ), ZY8归

13、是 ，我们可以将其改写成一个回归方程1122YZ（1）112220Z即 模型，其中 Y= ，Z= ，= ，= 。Y12Y20Z1212上述问题就转换成检验 的问题。012:H我们可以用两种方式来处理问题一）用约束条件 ，来检验。 是更一般约束条件 R=q 的一个特殊形式，1212其中 R=(I,-I) 和 q=0。这个直接可以从基于 Wald 统计量的带约束条件的 F 检验得到。 （请自己推导） 。例题：用约束条件下，F 检验推导出邹至庄检验的表达式：解：在约束条件 R=q 下，F 检验。21()()()(,)bqSZRbqJnkJ而邹至庄检验时约束条件 R =q 的一种特殊形式，即 R=(I

14、,-I)，而 q=0，也即等同于条件 。 （有 2k 个参数，并且是有 k 个约束） 。故122112 2 111 212211 1()()()(,) 0()(,) ()() ()() =bqSZRbqFknk II bZkbSZ 2服从 F（ ）的分布。12,knk另外，在考虑了约束条件 后，我们可以将模型（1）改写成一个无约束的2新的回归方程， 即212120ZY9(2)2121ZY即无约束的线性模型 模型，其中 Y= ，Z= ， = ，=12Y21Z12。12假如模型（2）的残差平方和是 ，在假设条件 下， 我们可以得到 F 统*e12计量可更简单地表示为：。)2/(/2,1*1 kne

15、knkF二） 更直接、更容易的一个处理是将约束直接构造进模型中，若两个系数向量相同，则模型（1）就转换为：（2）1122YZ由此我们推导出可以检验的邹至庄统计量 Chou-Test。从模型（1）中，我们可以得到无约束最小二乘估计量是 1 1 111 1 222220()0() ()bZZYZYbY 故 1122211 122 22111220()0 ()() 0YZZYeb YZIZ 1212 eYM11 12222()()YeM10则 （3）21()enk对于有约束条件 限制的模型（2）111 1* 22211 1 22212()() () ZYeIZIYM 11* 1222()()YeM则 （4） 122nk11* 12 2322()()YYeY问 服从何分布？2首先证明： 310M221211 2212 111 22 12 22() =()()0 0() MZIZZI Z 1 11 1 222 2 =()0ZZ 故 而且212M21()0M故 2121212()()()rrnknk同样 是幂等矩阵21故 且与* 22()ek21()enk是独立的，所以 )2/(/2,1*1 kneknkF这个就是邹至庄检验统计量（Chou-Test） 。