1、1第六章 参数估计6.1 点估计的几种方法6.1.1 替换原理和矩法估计一、矩法估计替换原理：(1)用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；(2)用样本矩的函数去替换相应的总体矩的函数。举例二、概率函数 已知时未知参数的矩法估计);(xp设总体具有已知的概率函数 ， 是未知参数),;(1kx ),(1k 或参数向量， 是样本，假定总体的 阶原点矩 存在，则对所有n,21 ， 都存在，若假设 能够表示成 的函数j,0kjjk, k,，则可给出诸 的矩法估计：)(jjjjakjj ,1其中 是前 个样本原点矩： ，进一步，如果要估计ka,1 nijjxa1的函数 ，则可直接得到
2、的矩法估计, ),(1kg 。)(1kg例 1 设总体为指数分布，其密度函数为，xep;0是样本，此处 ，由于 ，亦即 ，故 的nx,21 1k/1EXEX/1矩法估计为 /另外，由于 ，其反函数为 ，因此，从替换原2/)(XVar )(/Var理来看， 的矩法估计也可取为，s/1样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。例 2 设 是来自 上的均匀分布的样本， 与 均是未知参nx,21 ),(baab数，这里 其密度函数为k，0,),;(baxp求 ， 的矩估计.2解 由 2)(1)(,2)( abXDbaE得方程组：nii
3、XXVarb122 .)()()(1,解此方程组，得到矩估计量: .)(3 ,3 XVarbVar6.1.2 最大似然估计定义 6.1.1 设总体的概率函数为 ， ，其中 是一个未知参数);(xp或几个未知参数组成的参数向量， 是参数 可能取值的参数空间，是来自该总体的样本，将样本的联合概率函数看成 的函数，用nx,21表示，简记为 ，);(L)(L);();,;( 2121 nn xpxp 称为样本的似然函数。如果某统计量 满足)( ,21)(max则称 是 的最大似然估计，简记为 MLE。注意：(1)常常使用对数似然函数，因为其与似然函数具有相同的最值。(2)求导是最常用的求最值的方法。例
4、 3 设一个试验的三种可能结果，其发生概率分别为， ，21p)1(23)1(p现做了 n 次试验，观测到三种结果发生的次数分别为 ，1n， ( + + =n)。则似然函数为23123232123( )()nnL其对数似然函数为2ln2321 )1l(l)(ln 将之关于 求导并令其为 0 得到似然方程2231n解之，得nn2)(213213由于0)1(2)(ln312 nL所以 为极大值点。例 4 设样本 x1，x 2，x n 来自正态总体 X N (， 2)， (， 2)是二维参数，未知，求其的极大似然估计。解 似然函数为2 221()2 21(,)(),ni ixn xiLee 于是对数似
5、然函数为 niinL1222 )(ll),(lniiiix1242 .0)(ln,解之得 niiix1221 ,易验证， 为 L(， 2)得最大值点。因此， 的极大似然估计值为2 , 2 ,niini xx121)(求导无法解决的问题，如下例。例 5 设 是来自均匀分布 的样本，试求 的最大似然估n,21 ),0(U计。解 似然函数为 niXiIL10)(要使 达到最大，首先一点是示性函数取值应该为 1，其次是 尽可能n/大。由于 是 的单调减函数，所以 的取值就尽可能小，但示性函数为n/1 决定了 不能小于 ，由此给出了 的最大似然估计： 。)(nx )(nx最大似然估计的不变性：如果 是
6、的最大似然估计，则对任一函数，其最大似然估计为 。)(gg例 6 设 是来自正态总体 N (， 2)的样本，在前例中已经求得nx,21了参数的最大似然估计为4xni1niisx12*2)( 于是由最大似然估计的不变性可得如下参数的最大似然估计，它们是 *s概率 的 MLE 为)3()(XP)3(*sx总体 0.90 分位数 的 MLE 是 ，其中 是标90.90.ux90.u90.准正态分布的 0.90 分位数。6.2 点估计的评价标准6.2.1 相合性定义 6.2.1 设 为未知参数， 是 的一个估计量，),(1nnx是样本容量，若对任何一个 ，有n0)(limnP则称 为参数 的相合估计。
7、注意：相合性一般可以应用大数定律或直接由定义、依概率收敛的性质来证。例 1 设 是来自正态总体 的样本，则由辛钦大数定律及,2x),(2N依概率收敛的性质知：(1) 是 的相合估计；(2) 是 的相合估计2*s(3) 也是 的相合估计由此可见，参数的相合估计不止一个。定理 6.2.1 设 是 的一个估计量，若),(1nnx。)(limnnE0liVar则 为 的相合估计。例 2 设 是来自均匀总体 的样本，证明 的最大似然nx,21 ),(U估计是相合估计。证明 由上一节知， 的最大似然估计是 。由次序统计量的分布，我们)(nx知道 的分布密度函数为)(nxyypn,/1故有51/0ndyEn
8、212 0)2(1)()(2 nnVar n由定理知， 是 的相合估计。)(nx定理 6.2.2 若 分别是 的相合估计，nkn,21 k,21是 的连续函数，则,21kgk是 的相合估计。)(nn 注意：(1)样本均值是总体均值的相合估计；(2)样本标准差是总体标准差的相合估计；(3)样本变异系数 是总体变异系数的相合估计。xs/例 3 设一个试验有三种可结果，其发生概率分别为， ，21p)1(23)1(p现做了 n 次试验，观测到三种结果发生的次数分别为 ，可以采用频率321,n替换方法估计 。由于可以有三个不同的 的表达式：， ，13/21由大数定律， ， ， 分别是 ， ， 的相合估计
9、，由上面/n/2/p3定理知，上述三个估计都是 的相合估计。6.2.2 无偏性定义 6.2.2 设 是 的一个估计， 的参数空间为 ，若),(1nx对任意的 ，有)(E则称 是 的无偏估计，否则称为有偏估计。注意：无偏性可以改写为 ，表示没有系统偏差。0)(E例 4 设总体的 k 阶矩存在，则样本的 k 阶矩是总体 k 阶矩的无偏估计。证 因为 kniknikinikk xExxaE )(1)(1)()所以 ak 是 k 的无偏估计。另外， ，检验 是否为 的无偏估计。.)(122*niixs 2*s26因为 ，故 ，即 )1(2n1)(2nE221)(nE所以 不是 2 的无偏估计，但212
10、)(1sxnii为 2 的无偏估计量.由此可知 不是 2 的无偏估计量，而样本方差niix12)(iis2是 2 的无偏估计。不过，当 时，有 。称 是 2 的n221)(nE*2s渐近无偏估计。注意：无偏性不具有不变性。即 是 的无偏估计时， 不一定是)(g的无偏估计，除非 是 的线性函数。如 是 2 的无偏估计，但)(g)(g2s不是 的无偏估计。s例 5 设总体为 ， 是样本，我们已经证明,2Nnx,21niix12)(是 2 的无偏估计。由定理 5.3.1， ，其密度函数2)(sY)1(2n为0,)21()(2yenyp从而7)21( )21()(21 )()( 202102/12/1
11、nndyeypYEnnn由此，我们有 ncnYEns )2/1()(12/这说明 不是 的无偏估计，利用修正技术可得 是 的无偏估计，其中s)2/(cn是修偏系数。可以证明当 时，有 ，这说明 是 的渐近无n1ncs偏估计，从而在样本容量较大时，不经修正的 也是 的一个很好的估计。s6.2.3 有效性定义 6.2.3 设 均为未知参数 的无偏估计量，若21, ,)()(21Var且至少存在一个 0，使上述不等号严格成立，则称 有效。21比例 6 设 是取自某总体的样本，记总体均值为 ，总体方差nx,21 为 ，则 都是 的无偏估计，但2Varar/)(,)(21显然，只要 ， 比 有效。21例
12、 7 在例 2 中，均匀总体 中 的极大似然估计是 ，由于),0U)(nx，所以 不是 的无偏估计，但是 的渐近无偏估计。)(nEx)(nx经过修偏后可以得到 的一个无偏估计： 。且)(1nx)2()2(1)( )()21 nnnxVarVarn8另一方面，由矩法，我们可得到 的另外一个无偏估计 ，且x2nXVarnxrVar 3124)()(4)(2由此，当 时， 比 有效。1n26.2.4 均方误差均方误差定义式为： 2)()EMS由于 222)() )( )( EVar E因此均方误差由两部分组成，点估计的方差与偏差的平方。如果点估计是无偏的，则均方误差等于其方差。例 8 在前例中， 的
13、均方误差)(1nx2)()(VarMSE现在考虑 的形如 的估计，其均方误差为)(nx222)( 2)()1(1 )( nnVarEnn用求导的方法不难求出当 时上述均方误差达到最小，且/)0，这表示 虽然是 的有偏估2)(xMSEn )(01nx计，但其均方误差 )()()1()220 MSE所以在均方误差的标准下，有偏估计 优于无偏估计 。0例 5 设总体为 ， 是样本，我们已经证明),(2Nnx,21niixs129是 2 的无偏估计。由定理 5.3.1， ，其密度函数2)1(snY)1(2n为0,)21()(2yenyp从而 )21( )21()(21 )()( 20210/12/1n
14、ndyeypYEnnn由此，我们有 ncnYEns )2/1()(12/这说明 不是 的无偏估计，利用修正技术可得 是 的无偏估计，其中s)2/(cn是修偏系数。可以证明当 时，有 ，这说明 是 的渐近无n1ncs偏估计，从而在样本容量较大时，不经修正的 也是 的一个很好的估计。s6.2.3 有效性定义 6.2.3 设 均为未知参数 的无偏估计量，若21, ,)()(21Var且至少存在一个 0，使上述不等号严格成立，则称 有效。21比例 6 设 是取自某总体的样本，记总体均值为 ，总体方差nx,21 为 ，则 都是 的无偏估计，但2Varar/)(,)(21显然，只要 ， 比 有效。21例
15、7 在例 2 中，均匀总体 中 的极大似然估计是 ，由于),0U)(nx10，所以 不是 的无偏估计，但是 的渐近无偏估计。1)(nEx)(nx经过修偏后可以得到 的一个无偏估计： 。且)(1nx)2()2(1)( )()21 nnnxVarVarn另一方面，由矩法，我们可得到 的另外一个无偏估计 ，且xXVarxrVar 34)()(4)( 22由此，当 时， 比 有效。1n26.2.4 均方误差均方误差定义式为： 2)()EMS由于 222)() )( )( EVar E因此均方误差由两部分组成，点估计的方差与偏差的平方。如果点估计是无偏的，则均方误差等于其方差。例 8 在前例中， 的均方误差)(1nx2)()(VarMSE现在考虑 的形如 的估计，其均方误差为)(nx222)( 2)()1(1 )( nnVarEnn用求导的方法不难求出当 时上述均方误差达到最小，且/)0，这表示 虽然是 的有偏估2)(xMSEn )(01nx
