精选优质文档-倾情为你奉上岭回归分析一、普通最小二乘估计带来的问题当设计矩阵X呈病态时,X的列向量之间有较强的线性相关性，即解释变量间出现严重的多重共线性,在这种情况下,用普通最小二乘法估计模型参数，往往参数估计的方差太大,即很大，就很不稳定,在具体取值上与真值有较大的偏差,有时会出现与实际经济意义不符的正负号。下面看一个例子,可以说明这一点。假设已知,与y的关系服从线性回归模型:,给定,的10个值,如下表1，2行所示：然后用模拟的方法产生10个正态随机数,作为误差项,见表第3行。然后再由回归模型计算出10个值,见表第4行。现在假设回归系数与误差项是未知的,用普通最小二乘法求回归系数的估计得：=11.292, =11.307,=-6.591,而原模型的参数=10,=2,=3看来相差太大。计算，的样本相关系数得=0.986,表明与之间高度相关。通过这个例子可以看到解释变量之间高度相关时，普通最小二乘估计明显变坏。二、岭回归的定义当自变量间存在多重共线性,|0时，设想给加上一个正常数矩阵(k0)那么+接近奇异的程度就会比接近奇异的程度小得多。考虑
