第7章-参数估计.doc

1、第 7 章 参数估计 假设随机变量 服从正态分布 ，在实践中，通常数学期望，方差都是未知X),(2uN 的，需要进行估计，常用的估计法有点估计，区间估计等等，首先我们来讨论点估计。 7.1 点估计 假设某一总体 的分布函数为 ，其中参数 未知，需要进行估计，又假设),(xF 为从总体中抽出的一个样本，由这个样本构造一个函数nX,21 ，并以此作为参数 的估计值，我们就称 为 的点估计。),(21n 常用的点估计有矩估计，极大似然估计等等，下面我们分别进行讨论。 1 矩估计法 若总体 的密度函数为 ，其中 为未知参数，如果总体X),(21mxf m,21 的 阶矩（ ） 存在，设km)kE ，k

2、adf kk ,),(,)( 2121 又假设 为从总体中抽出的一个样本， 为这个样本的 阶n,21 nikikXA1k 样本矩，令 )(),(,21kmmXEaA 若上述关于 的方程组有解 ，则称这个解是,21 , 的矩估计量或矩估计。),(21m 按矩估计的定义，无论总体是什么分布，只要真实矩存在， 阶样本原点矩 均是它们kkA 相应真实原点矩 的矩估计量。ka 例 6.2 设 为从某个总体 中随机取出的一个样本，且 存在， nX,21 X2,u 试求 的矩估计量。2,u 解 niiiiXA1221 而 ， ，uXE)(2)(uXD 所以 67 ， niiuX122 解得 ， 。ii ni

3、iXa122niiSX12)( 例 6.3 设 为 上的均匀分布， 为样本，求 的矩估计。21,n,2 1, 解 )()(2112121 xda1 122dx 令 )(121SX 解上述关于 的方程得21, 。 SX321 例 6.4 在贝努利试验中，设事件 在每一次试验中发生的概率为 ，求参数 的矩估Ap 计。 解 设 ，而 为 的一个样本， 不 发 生若 发 生若 pPX,0)(,1nX,21 为事件 发生的频率，由矩估计定义， ，故有nAnii11 pAPE)( Xp 使用矩估计法的一个前提是总体存在适当阶的矩，阶数应不小于待估参数的个数（或者 说参数空间的维数），但这不总是可以做到的。

4、 矩估计法简便易行，且只要 充分大，估计的精确度也很高，但它只用到总体的数字n 特征的形式，而未用到总体的具体分布形式，损失了一部分很有用的信息，因此,在很多场 合下显得粗糙和过于一般。 3极大似然估计（ ）MLE 参数的点估计方法中另一个常用方法就是极大似然估计，简记为 。我们通过一个MLE 具体例子来说明这一估计的思想。 我们来看一个的例子。 例 2 已知有一批产品，试估计这批产品的不合格品率 。这里 。p10 解 设 ，于是 服从概率分布 ， 其 他产 品 合 格,01XX其 它,0,)();(XpXfX 我们从产品中随机抽取出一个容量为 的样本 ，于是 的概率为nn,1 n1 68 。

5、nnXXXn ppP111 )()(),(1 nini Xp11)( 这概率可以看作是未知参数 的函数，用 表示，称作未知参数 的似然函数，L 也即 。)(pLnii 11)( 在一次抽样中， 值使获得这一组特殊观测值 的概率应该最大，也即似然函n,1 数 应该达到最大值。所以我们以使 达到极大的 值作为参数 的一个估计值是合)(ppp 理的。 对 两边取对数，得)(p ，)1ln(lnln11XpXLiiii 由于对数函数 是 的单调函数，所以 与 在同一个 值上达到极大。xpL)(p 由 对 求导数，并使其等于零，得)(p ，01ln1 pndLiiii 解方程得解为 。n XXpnii1

6、1),( 不难验证， 使 达到极大，因此称 为参数 的极大似然估计值，其相应的统)lnLp 计量 称做参数 的极大似然估计量。 niip1 极大似然估计的出发点是基于这样一个统计原理：在一次随机试验中，某一事件已经发 生，比如已经得到某个具体的样本 ，则必然认为发生该事件的概率最大。nX,21 通过上述讨论，下面我们给出极大似然估计的概念。 极大似然估计定义：设 为取自具有概率函数 的母体的一X, :),(xp 个样本，样本 的联合概率函数 是 的函数。n,21 ,(),21p,nX 我们用 表示，即),()L ),(X ,(21p,nX 我们称这个函数为样本 的似然函数。称 为对数似n,2

7、),(l21nL 然函数。 如果是离散型母体， 给出观测到（ ）的概率。所以我们只)(1X n, 要寻找这样的观测值（ ）的函数 ，使n,1 ),(1 ),(),( 11 nnLMAXL 成立。我们称 为参数 的极大似然估计值，其相应的统计量 称,( ),(1nX 作参数 的极大似然估计量。 如果 是连续型变量， 表示密度函数。我们只需求出使得x),(xf 69 达到极大的 ，便可得到极大似然估计。 niiXfXL11),(),( ),(1nX 由于 是 的单调增函数，使 成立的xl ),(l,ln1nXLMAL 也使 成立。 )(),( 11 nnMA 若 关于 的偏导数都存在，于是 的极大

8、似然估计kf k,1 k,1 必须满足似然方程组 k,1 kiXLink ,0),;,(11 ik ,1,ln 这两个方程组是两个同解方程组。通常情况下，解对数似然方程组更容易。 例 1 设 是 的样本，求 与 的 nX,21 ),(2N2MLE 解 由已知， ，因此事件 发生的概率为i nX,1 212221 )(exp)(),( )(,( iinXLPPnn ，2122 )(lnl),(ln niiX 由 分别对 求偏导，得似然方程组),(l2XLu niiiiXXL124222 0)(),(ln 解似然方程组，即得 。 niiniiSX1221)( 由此可见，对于正态分布总体来说， ，

9、的矩估计与是相同的。2 例 2 求均匀分布 中参数 的 ,21U,MLE 解 设 为从总体中随机取出的一个样本，则样本的似然函数为nX,21 70 其 他 若,0,1),( 2)()1(2212 nnn XXL 本例似然函数不连续，不能用似然方程求解的方法，只有回到极大似然估计的原始定义。 注到最大值只能发生在 ；而欲 最大，只有使2)(1n）（ ),;(21L 最小，即使 尽可能小， 尽可能大，但在式（ 6.4）的约束下，122 ，因此只能取 = ， = nnX)1()(12 1)(X2)(n 和矩估计的情形一样，有时虽能给出似然方程，也可以证明它有解，但得不到解的解析 表达式。 6.2 估

10、计量的评价准则 对于同一参数，用不同方法来估计，结果是不一样的。那么究竟孰优孰劣就需要进行判 断，判断不同估计量优劣的方法主要有下述 3 个指标： 1相合性 设 = 是 的一个估计量，若对任意给定的 及 ，都有),(21nX 0 ，就称 是 的相合估计。limP 相合性是对一个估计量最基本的要求，如果一个估计量连相合性都不满足，这个估计 量便没有什么意义。 可以证明，矩估计，极大似然估计都是相合估计。 2无偏性 定义 ： 设 = 是 的一个估计量，若对任意的 ，都有),(21nX ，则称 是 的无偏估计量，如果 ，则称 是)(E 0),(lim21nXE 的渐近无偏估计量。 无偏性反映了估计量

11、的取值在真值 周围摆动，显然，我们希望一个量具有无偏性。 例 1 假设总体 阶矩 存在，而 是从总体体中随机取出的一kkuE)( n,21 个样本，样本 阶矩为 ，证明：样本 阶矩 是总体 阶矩 矩 的无 niiXA1kkA)(kXE 偏估计。 证明：因为 是从总体体中随机取出的一个样本，所以 独nX,21 n,21 立同分布，从而 ，因此iuEki ,)( ，所以由无偏估计的定义，样本 阶矩 是)(1niikA)(1ikiXEukkA 总体 阶矩 矩 的无偏估计。)(k 如果 ，则 为样本平均数， 为数学期望，因此样本平均数是数学期望的)(k 无偏估计。 例 2.假设求 是从某一总体中随机取

12、出的一个样本，且nX,21 71 ， ， 为样本方差。niuXEi ,21,)(2)(iXDniiXS12)( 求证： 不是总体方差 的无偏估计。2S 证明：因为 n niinii 22121)()() 故 niiXE12( )(2iiXE)()(2)1 2 ni ii )(ii ，2 21 11) nnXDnii 所以 不是总体方差 的无偏估计。2S)( 但 ，因此 是渐近无偏估计。2limn 2S 在 的基础上，我们适当加以修正可以得到一个 的无偏估计，这个估计量也和样2 2 本方差一样是经常被采用的： 。niiXn122* )(1 例3假设总体X服从指数分布，其密度函数为 ，其中参数 未

13、知，又设 是从总体中随机取 0,1);(xexfx 0n,21 出的一个样本，试证明： 和 都是 的无偏估计。X,min21NXZ 证明：因为 ，而 得密度函数为)1()niiE,i ，所以 ，从而 。 0,);(xenxfx nZ)()(ZE 上述例子表明，一个参数的无偏估计可以有很多个。 3有效性 前面已经说过，无偏估计量只说明估计量的取值在真值周围摆动，但这个“周围”究竟 有多大？我们自然希望摆动范围越小越好，即估计量的取值的集中程度要尽可能的高，这在 统计上就引出最小方差无偏估计的概念。 定义 假设 = 与 = 是未知参数 的两个无偏1),(2nX 2),(21nX 估计，如果对于任意

14、的 ，总有 ，并且至少对于某一个 不等式)(1 D 成立，就称 比 有效。12 72 7.3 区间估计 1定义 对于一个未知参数，除了希望给出其估计值以外，同时也希望能够给出估计值的误差区 间，误差区间也叫做置信区间，求置信区间的过程也就叫做未知参数的区间估计。 下面给出区间估计的的定义。 定义：对于参数 ，如果有两个统计量 , ，满足对给定的 ，有),(211nX ),(212nX)1,0(P 则称区间 ， 是 的一个区间估计或置信区间， ， 分别称作置信下限、置信12 12 上限， 称为置信水平。 2单个正态总体均值与方差的区间估计 求区间估计的一般步骤如下： 10 先求出 的一个点估计

15、，它满足两点：一是它较前面提出的标准应该是一个“好的” 估计量，二是它的分布形式应该已知，只依赖未知参数 20 所求的区间考虑为 的一个邻域 , ,使得对于,ba01 =1- (6.22)P 对于一般分布的总体,其抽样分布的计算通常有些困难，因此，我们将主要研究正态总 体参数的区间估计问题。 下面我们来看几个例子。 例 1 一车床加工圆柱形工件，其产品直径据经验服从正态分布，现从中随机抽取 100 个 样本，测得数据如下表： 直径 （cm） 27 28 29 30 31 32 33 频 数 5 8 12 50 15 7 3 若总体方差 =25，试计算总体均值 及其 95%的置信区间。2u 解：

16、 29127(10_ X ）335 。9. 由定理知， ，从而 Z= 。),(2_nuN)1,0(/_NnuX 给定置信水平 =0.05，查正态分布表，得 ，则96.2 P ，其意义如图 221 所示。96.1Z 73 图 221 图 221 表明， 当置信水平 给定以后， 的概率为 1 ，若 取为 0.05，2uZ 则 1 =0.95， 。从而在 0.95 的概率意义下，有96.2u 成立。解不等式 ,得2 _/nXZ2_/unX ，将 、 、 , 代入上式，2 _2_ uu 95._6.10n5 得 。85.30.6 就是说， 的真值落在区间（26.05，33.85）内的概率为 0.95，

17、所以 的 95%的置信区间u 为（26.05，33.85） 。 我们把区间 )叫做总体平均数 的置信区间， 叫作置2 _2_(unXun 1 信概率, 叫作置信水平。 叫做分位值。 在例 1 中,总体方差 是已知的,然而在实践中，通常总体方差常是未知的，在这种情况2 下，只要样本足够大，可用样本方差代替总体方差。 例 2 已知在一次数学测验中， 学生的考试成绩服从正态分布 ，现从中随机抽),(2uN 取了 400 个样本，计算出样本均值为 67.2 分,样本标准差为 10 分，试在 95%的概率下，求总 体均值的置信区间。 解：由题意， ，令 ，则96.1,40,1,2.672_ unSX 1

18、nSXT ，给定置信水平 ，则 。)1(ntT5.95.0)40(tnSXP 从而在 95%的概率以以下， 。2 _2_ 11tut 由于 很大，因此 得 ，n96.2ut _1SX96.40.7_ nSX 96.150.7 ，8.07 74 ，2_1tnSX98.0267_unSX1.6 总体均值 95%的置信区间为（ 66.225，68.175） 。 令 = = ，则 为置信区间长度。 越小，表明L2_u)(2_2LL 估计值越精确， 越大，则表明估计值越差。 例 3 已知在一次数学测验中，考生的成绩服从正态分布，总体标准差 ，要使总10 体平均数的估计误差不超过 1 分，问至少需要多大的

19、样本？ 解：取置信水平 则 。要使总体平均数的估计误差不超过 1 分，至,05.96.2u 少应有 1,即 。 。2un )(n 6.384.19).0(2n 在实践中，除了需要求出平均数的置信期间以外，有时也需要求出方差的置信区间，下面我 们举例进行讨论。 例 4有一大批糖果，现从中随机取出 16 袋，称得重量如下： 506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496 试求总体平均数 的置信区间。u 解 经计算， ，给定置信水平 ，查 分布表得20.6,75.03_SX05.t ，因此 ， ，所以平均数135.)(0

20、25.t 41tn 172_tnSX 的 95%的置信区间为（500.4,507.1 ） 。u 例 5已知在一次数学测验中，考生的成绩分布服从正态分布 ，其中总体均值和总),(uN 体方差均未知，现从中随机抽取了 61 个样本，算得样本方差 ，试在 95%的概率意02S 义下，求总体方差的置信区间。 解：由定理 22， 。又由题意， ， 。)1(2nS61n2 给定置信水平 ，查 分布表，得 ， ，05.5.4)0(23.8)(2 ，解不等式 ，得1)(221nSP 221nS 。 ， ， 21205.95.0 75 ， 。5.401263.812674.180.872 所以 的 95%的置信

21、区间为 。),( 将上式两边开方，得 ， 95%的置信区间为（ ） 。4.3.9 4.13,79 区间 即为总体方差估计值的置信区间。)1(,)(22nSn 例 6求例 4 的标准差的置信区间。 解：由例 4 知， ，给定置信水平 ，查 分布表得20.6,75.03_SX05.2 ， ， ，)1(,8.27)15(9.202. 8.4)1(2nS60.9)1(2nS 所以标准差 的一个 95%的置信区间为（ 4.58，9.60） 。 3 双正态总体参数的区间估计 1）两个总体均值差 的置信区间21u 设 , 分别为出自 和 的样本，且它们相,2nX 2,nY ),(21uN),(2 互独立，

22、假设 已知，则 , ,故21/,(21Y/n ，从而 ，),(21uNY )10(21NnXZ 给定 ，查正态分布表，得 ，于是 ，解不等式05.96.2u2uZP 得2uZ 。),( 212122 nuYXnYX 上述区间就是置信水平为 95%的两个总体均值差 的置信区间。1u 例 1 已知在一次数学测验中，甲、乙两班的考试成绩服从正态分布，有关数据如下表： 试估计两个班级的平均成绩差 的置信区间。21u 解： 1 计算统计量 ： ，Z5.476.80_YX ，21n5213. 班 级 学 生 平 均 成 绩 标准差（S） 甲 (X) 100 805 12 乙 (Y) 150 76 11 7

23、6 ，87.263.154212 nuYX 212 所以 的置信区间（2.87，6.13） 。 1u 2）若若 未知，因为 ，2,)1,0()()(21NnuYXZ ，从而由 定义，得到)(),1(222nSnmSYXt 。令)2()()()2( 122121121 ntSnuYXnnS YYX ，则 。21M )()()( 21221tSuMYX 给定置信水平 ，查分布表得 ，从而 ，于是得到2nt 2P 的置信区间为21u 2112121 )(,)( 22 SnMntYSntYX 例 2 已知全班 19 名学生参加了一项测验,将测验结果按男女生分组,所得数据如下表： 学 生 平均分 标 准

24、 差 n 男 (X) 10 1.6 10 女 (Y) 11.8 3.06 9 试估计两个小组平均成绩差 的置信区间。21u 解： ，2481)(21212 SnMntYX ，6.0.2 t 所以 的置信区间为（-4.24，0.64） 。1u 7.4 0-1 分布的参数区间估计 77 假设有一容量为 的样本，它来自（0-1）分布总体 ， 的分布函数为50nX ，其中 为未知参数，下面我们来求 的置信水平为1,)1();(xpxfx pp 的置信区间。1 已知 0-1 分布总体的数学期望为 ，方差为 ，又设XE)( )1(2 是从总体中随机抽取出的一个样本，因为样本容量较大，因此由中心极限定nX,

25、2 理， 近似服从正态分布 ，于是在置信水平 下，)1()1( _ppii ),0(N ，解不等式 ，得)(2 _unXP 2_)1(upnX ，令0)2_2_2 pp ， ，这里acb41acb42 ， ， 。)(2un)(2_uXn_n 因此 的置信水平为 的置信区间为 。p1),(21p 例 1 设从一大批产品中随机抽取 100 个产品，得一级品 60 个，求这批产品的一级品 率 的 95%的置信区间。 解 由已知， 是 0-1 分布的参数，且 ， ，查表得 ，0n5.96.12u6.0_X ， ， ，所以84.103)(2una 84.123)2(_uXb 3_Xnc ，这批产品的一级

26、品率 的 95%的置信区间为（0.51，0.69） 。69,5.1pp 7.5 单侧置信区间 在上述讨论中，对于未知参数 ，我们给出两个统计量 ， 得到 的双侧置信区间_ 。但在某些实际问题中，例如，对于设备、元件的寿命来说，平均寿命长是我们所希),(_ 望的，我们关心的是平均寿命 的“下限” ；与之相反，在考虑化学药品中杂质念量的均值时， 我们常关心参数 的“上限” 。这就引出了单侧置信区间的概念。u 对于给定值 ，若由样本 确定的统计量)10(nX,21 （ ） ，对于任意 满足 ，称随机区间 是nX,21 1P),( 的置信水平为 的单侧置信区间， 称为 的置信水平为 的单侧置信下限。

27、又若统计量 （ ） ，对于任意 满足 ，称随 _n,21 1_P 机区间 是 的置信水平为 的单侧置信区间， 称为 的置信水平为 的单),(_ 78 侧置信上限。 对于正态总体 ，若均值 ，方差 均为未知，设 是一个样本，由X2nX,21 有 ， )1(/_ntS)(/_ntSa 即 ，)(_ta 于是得到 的一个置信水平为 的单侧置信区间： 。1 ),1(_ntSXa 的置信水平为 的单侧置下限为 。)_tna 例：从一批灯泡中随机地取 5 只作寿命试验，测得寿命（以小时计）为 1050 1100 1120 1250 1280 设灯泡寿命服从正态分布，求灯泡寿命平均的置信水平为 0.95 的单侧置信下限。 由式得所求单侧量置信下限为 解； 。950,16,38.2)4()1(,9.01 2 _05. Sxtnta 单侧置信下限为 =1065。 _SX 又由 有 ，)1()1(22nSn 1)()1(212nSnP 即 ，)(21P 于是得 的一个置信水平为 的单侧置信区间： 。1)1(,02nS 79 的置信水平为 的单侧置信上限为 。21)1(2_nXS