1、1第十一章第十一章 参数估计参数估计参数估计是统计推断的基本问题之一。这里主要介绍参数估计的两种方法，即点估参数估计是统计推断的基本问题之一。这里主要介绍参数估计的两种方法，即点估计和区间估计。计和区间估计。11.1 点估计点估计设设 为总体，若为总体，若 为连续型，具有密度函数为连续型，具有密度函数 ；若；若 为离散型，为离散型，Xkxp,;21 X则假定则假定 有概率分布有概率分布 ， ，这里的，这里的 为未知为未知kixXP,21,i k,21参数。例如对正态总体参数。例如对正态总体 ， 为未知参数，它的密度函数为为未知参数，它的密度函数为,N2 ,。xexpx- ,;22若总体若总体
2、服从二项分布服从二项分布 ，由于，由于 为试验次数，是已知的，因此为试验次数，是已知的，因此 的分布中只的分布中只XmB , X有有 为未知参数，其概率分布为为未知参数，其概率分布为p。mkqpCkXPmk, 10 ,那么，如何估计未知参数呢？以那么，如何估计未知参数呢？以 为例，为了估计为例，为了估计 ，首先必须从，首先必须从2N中抽取样本中抽取样本 ，由大数定律知道，当，由大数定律知道，当 很大时，很大时， 以很大以很大Xn,21 nniiX1的概率与的概率与 充分接近，因而自然地把样本均值充分接近，因而自然地把样本均值 作为总体均值作为总体均值 的估计量。的估计量。EX一般地，设一般地，
3、设 是来自总体是来自总体 的样本，点估计问题就是要求构造统计的样本，点估计问题就是要求构造统计nX,21量量 作为参数作为参数 的估计，称这一统计量为的估计，称这一统计量为 的一个的一个 估计估计niXT,21 ki ,21 i量量 ，若，若 是是 的一组观察值，代入的一组观察值，代入 得到具体的数值得到具体的数值x n,21 iT，称它为，称它为 的的 估计值估计值 。今后，估计量和估计值将不再强调它们的区别，。今后，估计量和估计值将不再强调它们的区别，nix,21 i在不至于引起混淆的场合将统称为估计。因此，为了估计未知参数，必须先构造合适的在不至于引起混淆的场合将统称为估计。因此，为了估
4、计未知参数，必须先构造合适的统计量，最常用的构造统计量的方法有两种：矩估计法和最大似然估计法，分别介绍如统计量，最常用的构造统计量的方法有两种：矩估计法和最大似然估计法，分别介绍如下。下。211.1.1 矩估计法矩估计法矩估计法是一种古老的统计方法，由英国统计学家矩估计法是一种古老的统计方法，由英国统计学家 K.Pearson 于于 1894 年提出，这一年提出，这一方法简单而且直观。对于连续型总体方法简单而且直观。对于连续型总体 ，它的，它的 阶原点矩为阶原点矩为Xm，dxxpEkkm ,;, 2121)( 若若 为离散型的，则为离散型的，则X。12121)( ,;,i kimkm xXP对
5、于样本对于样本 ，其，其 阶样本原点矩为阶样本原点矩为nX,21，nimim1现在用样本矩作为总体矩的估计，即令现在用样本矩作为总体矩的估计，即令，nimikm kX121)( ,2 , 解这一含解这一含 个未知参数个未知参数 的方程组，记其解为的方程组，记其解为kk,21，kiXnii ,2 ,21 称它们为称它们为 的的 矩估计矩估计 。k,21矩估计法的理论依据是：由于矩估计法的理论依据是：由于 是来自总体是来自总体 的简单随机样本，因的简单随机样本，因n,21 X而而 独立同分布，从而独立同分布，从而 ，由大数定律，由大数定律，mnmX,21 )(2mnmEEX作为作为 的算术平均依概
6、率收敛到均值的算术平均依概率收敛到均值 ，即，即 i)(1(li)(mnP于是，对于充分大的于是，对于充分大的 ， 有有 ，将，将 “ ”改成改成 “=”，这就是矩估计，这就是矩估计km,21)(法依据的方程组。法依据的方程组。例例 1 设总体设总体 ， 为未知参数，为未知参数， 为来自为来自 的简单的简单2,NX2,nX,21随机样本，求随机样本，求 的矩估计。的矩估计。2,解解 易知易知3, 222)2(1 EXD令令 niiX122,解这一方程组，得到解这一方程组，得到 和和 的矩估计为的矩估计为2。2112 , nniinii SX不难看出，上述结论对所有总体都是成立的，即对一切均值为
7、不难看出，上述结论对所有总体都是成立的，即对一切均值为 ， 方差为方差为 的总体，的总体，2不管总体的具体形式如何，不管总体的具体形式如何， 和和 的矩估计总是的矩估计总是2。21 , nniiSXX例例 2 设总体设总体 ， 即即 具有概率密度具有概率密度baU,，其 它0,; bxaxp这里这里 为未知参数，为未知参数， 为抽自为抽自 的简单随机样本，由于的简单随机样本，由于 ，ba,nX,21 2baEX， 令令12DXniiXbabX1222,1,由此可解得由此可解得 和和 的矩估计为的矩估计为a,3nSXba其中其中 。niiXS1224例例 3 求事件发生概率求事件发生概率 的矩估
8、计。的矩估计。p解解 记事件记事件 发生的概率为发生的概率为 ，定义随机变量，定义随机变量AAP不 发 生若 在 一 次 试 验 中 事 件 发 生若 在 一 次 试 验 中 事 件 AX01则则 ，对，对 做做 次试验，观测到次试验，观测到pEXn，niAii ,21 ,01 不 发 生次 试 验 中 事 件若 在 第 发 生次 试 验 中 事 件若 在 第则则 的矩估计为的矩估计为p，niiXp1这里这里 为为 次试验中事件次试验中事件 发生的次数，因而发生的次数，因而 是是 次试验中事件发生的频率。由次试验中事件发生的频率。由niiX1A此可见，频率是概率的矩估计。此可见，频率是概率的矩
9、估计。11.1.2 最大似然估计法最大似然估计法最大似然估计法最早由高斯（最大似然估计法最早由高斯（ C.F.Gauss）提出，后来由费歇（）提出，后来由费歇（ R.A.Fisher）于）于1912年重新提出，并证明了这一方法的性质。最大似然估计法在理论上有优良的性质，是目前年重新提出，并证明了这一方法的性质。最大似然估计法在理论上有优良的性质，是目前得到广泛应用的估计方法。下面我们结合例子来介绍最大似然估计的思想和方法。得到广泛应用的估计方法。下面我们结合例子来介绍最大似然估计的思想和方法。假设在一个罐中放着许多黑球和白球，并假定已知它们的数目之比为假设在一个罐中放着许多黑球和白球，并假定已
10、知它们的数目之比为 ，但不知哪，但不知哪3:1种颜色的球多。如果我们有放回地从罐中抽取种颜色的球多。如果我们有放回地从罐中抽取 个球，则其中的黑球数个球，则其中的黑球数 服从二项分布：服从二项分布：3X，3,210 ,3kqpCkXPk其中其中 ， ，由假定知道，由假定知道 可能取可能取 或或 。罐 中 全 部 球 的 数 目罐 中 黑 球 数 目pq14现在根据样本中的黑球数，来估计未知参数现在根据样本中的黑球数，来估计未知参数 ， 也就是说在也就是说在 和和 之间作一选择。之间作一选择。p135对抽样的四种可能结果计算出相应的概率：对抽样的四种可能结果计算出相应的概率： X0 1 2 3时
11、时 的值的值41pkP时时 的值的值3X64271964271表表 8-1从表从表 1 中可见，如果样本中的黑球数为中可见，如果样本中的黑球数为 0，那么具有，那么具有 的样本来自的样本来自 的总的总0X41p体的可能性比来自体的可能性比来自 的总体的可能性大，这时应当估计的总体的可能性大，这时应当估计 为为 而不是而不是 。如果样本。如果样本43pp413中黑球数为中黑球数为 2，那么具有，那么具有 的样本来自的样本来自 的总体的可能性比来自的总体的可能性比来自 的总体的总体2X43p的可能性大，这时应当估计的可能性大，这时应当估计 为为 而不是而不是 。从而可以选择估计量：。从而可以选择估
12、计量：1，3,240kkp也就是说根据样本的具体情况来选择估计量也就是说根据样本的具体情况来选择估计量 ，使得出现该样本的可能性最大。，使得出现该样本的可能性最大。一般地，若总体一般地，若总体 具有概率密度具有概率密度 ，其中，其中 为未知参数，为未知参数，Xkxp,;21 k,21又设又设 是样本的一组观察值，那么样本是样本的一组观察值，那么样本 落在点落在点nx,21 nX,21的邻域内的概率为的邻域内的概率为 ，它是，它是 的函数。的函数。nx,21 ni iki dxxp121,; k,21最大似然估计的直观想法是：既然在一次试验中得到了观察值最大似然估计的直观想法是：既然在一次试验中
13、得到了观察值 ，那么我们，那么我们nx,21认为样本落入该观察值认为样本落入该观察值 的邻域内这一事件应具有最大的可能性，所以应选的邻域内这一事件应具有最大的可能性，所以应选nx,21取使这一概率达到最大的参数值作为参数真值的估计。记取使这一概率达到最大的参数值作为参数真值的估计。记,kinikn xpxLxL ,;,;, 2112121 6称它为称它为 似然函数似然函数 。对于固定的对于固定的 ，记，记 ，选取，选取 ，使得，使得nx,21 ),.(21nk,21，则称，则称 为为 的一个的一个 最大似然估计值最大似然估计值 。;max;L若总体若总体 是离散型的，则似然函数为是离散型的，则
14、似然函数为X,kinixXPx,; 211其中其中 为总体为总体 的概率分布。的概率分布。kixP,;21,2求求 的最大似然估计就是求似然函数的最大似然估计就是求似然函数 的最大值点的问题。若的最大值点的问题。若 对对 （;xL;xLi）的偏导数存在，由微积分知识，最大似然估计）的偏导数存在，由微积分知识，最大似然估计 应满足方程组应满足方程组ki,2 ， （ 1）kiLi ,21 ,0称（称（ 1）为）为 似然方程组似然方程组 。由于在许多情况下，求。由于在许多情况下，求 的最大值点比较简单，而且的最大值点比较简单，而且;lnxL是是 的严格增函数，因此在的严格增函数，因此在 对对 （ ）
15、的偏导数存在的情况下，）的偏导数存在的情况下，xln;lnxi k,21可由可由， （ 2）kiLi ,21 ,0l求得。称（求得。称（ 2）为）为 对数似然方程组对数似然方程组 。解这一方程组，若。解这一方程组，若 的驻点唯一，又能验证的驻点唯一，又能验证;lnxL它是一个极大值点，则它必是它是一个极大值点，则它必是 的最大值点，即为所求的最大似然估计。但若驻的最大值点，即为所求的最大似然估计。但若驻;lnxL点不唯一，则需进一步判断哪一个为最大值点。还需指出的是，若点不唯一，则需进一步判断哪一个为最大值点。还需指出的是，若 对对 （;xi）的偏导数不存在，则我们无法得到方程组（）的偏导数不
16、存在，则我们无法得到方程组（ 8-2） ，这时必须根据最大似然，这时必须根据最大似然ki,21估计的定义直接求估计的定义直接求 的最大值点。的最大值点。;xL有时我们需要估计有时我们需要估计 ，如果，如果 分别是分别是 的最大似的最大似kg,21 k,21 k,21然估计，且然估计，且 为连续函数，则为连续函数，则 是是 的最大似的最大似k,21 g g,然估计。然估计。7例例 4 设总体设总体 ， 未知，未知， 为来自为来自 的样本，求的样本，求2,NX2,nX,21和和 的最大似然估计。的最大似然估计。2解解 似然函数为似然函数为 ,2 1,;, 1222221 niixnixnexL它的
17、对数为它的对数为，niin xnxL 122221 l2l,;,ln 解对数似然方程组：解对数似然方程组： 021lnl 242 niiniixL可得可得 ,1,22niiix由于对数似然方程组有唯一解，且它一定是最大值点，于是由于对数似然方程组有唯一解，且它一定是最大值点，于是 和和 的最大似然估计为的最大似然估计为2。niiXSX12 ,这里我们用大写字母表示所涉及的样本，这是因为在最大似然估计中，这里我们用大写字母表示所涉及的样本，这是因为在最大似然估计中， 均为统计均为统计2和量。以下均作同样的处理。量。以下均作同样的处理。例例 5 设总体设总体 服从参数为服从参数为 的普阿松分布，概
18、率分布为：的普阿松分布，概率分布为：X，,10 ,!kekP为未知参数。为未知参数。 为来自为来自 的样本，求的样本，求 的最大似然估计。的最大似然估计。0n,21 X8解解 似然函数为似然函数为，ni nixixexLnii1121 !;, 1对数似然方程为对数似然方程为，nixdL10ln解得解得 ，由于，由于 ，故似然函数在，故似然函数在 处达到最大值，从而处达到最大值，从而 的最大的最大nix10l2似然估计为似然估计为。niiX1例例 6 求事件发生的概率求事件发生的概率 的最大似然估计。的最大似然估计。p解解 若事件若事件 发生的概率发生的概率 ，定义随机变量，定义随机变量AP，不
19、 发 生若 在 一 次 试 验 中 事 件 发 生若 在 一 次 试 验 中 事 件 AX01则则 ，其概率分布为，其概率分布为，pBX1。1,0 ,1ixxipPii设设 为抽自为抽自 的样本，则似然函数为的样本，则似然函数为nX,21,niniii xxni xxn pppxL 111;,21由对数似然方程由对数似然方程,01ln1pxndpLii解得解得9。nixp1注意到注意到 ，容易验证，容易验证 在在 处取负值，于是处取负值，于是 是是 的最大值点，因而的最大值点，因而nxi12lndLLln的最大似然估计为的最大似然估计为 。于是我们有结论：频率是概率的最大似然估计。于是我们有结
20、论：频率是概率的最大似然估计。pXp例例 7 设总体设总体 ， 为抽自为抽自 的样本，求未知参数的样本，求未知参数 的的baU,nX,21 ba,最大似然估计。最大似然估计。解解 由于由于 的密度函数为的密度函数为X，其 它01bxabxp因此似然函数为因此似然函数为。其 它0,21 ,1,;,21 nibxabaxLinn 显然，作为显然，作为 的二元函数，的二元函数， 是不连续的。这时我们不能用方程组（是不连续的。这时我们不能用方程组（ 8-2）来求最大似）来求最大似ba,L然估计，而必须从最大似然估计的定义出发来求然估计，而必须从最大似然估计的定义出发来求 的最大值点。为使的最大值点。为
21、使 达到最大，达到最大，LL应尽量地小，但应尽量地小，但 又不能小于又不能小于 ，否则，否则 ；nx,ma21 0,;,21baxn类似地，类似地， 又不能大于又不能大于 。因此。因此 的最大似然估计为的最大似然估计为anx,i21 b， 。X,n nX,a2111.2 估计的优良性准则估计的优良性准则同一个未知参数，可以有几种不同的估计，这时就存在采用哪一种估计的问题。另同一个未知参数，可以有几种不同的估计，这时就存在采用哪一种估计的问题。另一方面，对同一个参数，用矩估计法和最大似然估计法，即使得到同一个估计，也存在一方面，对同一个参数，用矩估计法和最大似然估计法，即使得到同一个估计，也存在
22、衡量该估计量优劣的问题。设衡量该估计量优劣的问题。设 为未知参数，为未知参数， 是是 的估计，直观上讲，的估计，直观上讲， 与与 越接近越接近越好，为了度量越好，为了度量 与与 的接近程度，我们可以采用的接近程度，我们可以采用 作为衡量的标准，但由于作为衡量的标准，但由于 依赖于样本，它本身是随机变量，而依赖于样本，它本身是随机变量，而 又是未知的，因此很难采用。又是未知的，因此很难采用。nX,2110下面我们从不同的角度，提出几种衡量估计优劣的标准。下面我们从不同的角度，提出几种衡量估计优劣的标准。11.2.1 一致性一致性定义定义 1 设设 是总体是总体 分布的未知参数分布的未知参数 的估
23、计量，若的估计量，若 依概率收敛依概率收敛nX,21 于于 ，即对任意的，即对任意的 ，0,1limPn则称则称 是是 的的 一致估计一致估计 。满足一致性的估计量满足一致性的估计量 ， 当样本容量当样本容量 不断增大时，不断增大时， 观察值能越来越接近参数真观察值能越来越接近参数真 值值 。这很容易理解，当样本容量。这很容易理解，当样本容量 越大时，信息越多，当然估计就越准确。越大时，信息越多，当然估计就越准确。n由大数定律知，样本均值由大数定律知，样本均值 是总体均值是总体均值 （即（即 ）的一致估计。还有，样本修正）的一致估计。还有，样本修正XEX方差方差 是总体方差是总体方差 （即（即
24、 ）的一致估计。）的一致估计。2S2D例例 8 若总体若总体 服从正态分布服从正态分布 ， 是来自总体是来自总体 的容量为的容量为2,Nn,21 X的样本的样本 ， ， ， ， 则由大数定律知，则由大数定律知， 依概率收敛于依概率收敛于niEX2i ni， 即即,1limXPn也即未知参数也即未知参数 的最大似然估计或矩估计的最大似然估计或矩估计 是是 的一致估计。的一致估计。例例 9 若总体若总体 服从普阿松分布服从普阿松分布 ， 是从总体是从总体 中抽取的容量中抽取的容量nX,21为为 的样本的样本 ， 且且 ， ， ， 则则 依概率收敛于依概率收敛于 ， 故未知参故未知参niEXiDi 数数 的最大似然估计或矩估计的最大似然估计或矩估计 是是 的一致估计。的一致估计。例例 10 若总体若总体 服从服从 0-1 分布，分布， ， 是从是从10 ,1pXPnX,2中抽取的容量为中抽取的容量为 的样本的样本 ， ， ， ， 则则 依概率依概率XnpEi )(Dii收敛于收敛于 ， 故未知参数故未知参数 的最大似然估计或矩估计的最大似然估计或矩估计 是是 的一致估计。的一致估计。pp11.2.2 无偏性无偏性设设 为总体分布的未知参数，为总体分布的未知参数， 是是 的一个估计，它是一个统计量。的一个估计，它是一个统计量。nX,21
