极大似然估计与W,LR,LM 检验 极大似然估计法 我们从简单线性模型开始分析 对于每一个都是服从均值 为,方差为 的正态分布,其概率密度函数可以表示为 似然函数是密度函数在所有各观测处取值的乘积,在简单线性模型下表示为:第一部分:极大似然估计 极大似然估计的目标是寻找最可能生成样本观测 的参数 的值。于是可以通过寻找使上述似然函数达到最大的参数 值来实现。对似然函数求对得到对数似然函数: 当对数似然函数达到最大时,似然函数也达到最大。将对数似然函数分别对三个未知参数求偏导,令它们等于零,并求解: 通过求偏导得到三个方程求解得出: 可以看出,得到的结果与最小二乘法估计量完全一样, 和 是最优线性无偏估计量,但是, 却是有偏估计量。因此需要调整分母为N-2 线性模型的ML 估计的一般形式 假设一般模型为: 其中 服从正态分布且满足基本线性回归模型的所有其他假设条件。对于Y 和相应的所有X 的N 个观测中的每一个观测,给定X 和Y 的密度函数为: N 个观测的对数似然函数为:(所有求和都是对观测i=1,2,N 进行) 同样的,将上式对每一个 求偏导,令它们等于零并求解,可以得到关于p+1