参数估计与假设检验.DOC

1、第 5 章 参数估计与假设检验教学目的与要求：1、了解点估计的概念，掌握评价点估计好坏的三个标准无偏性、有效性和相合性。2、了解矩估计的思想，理解最大似然估计的基本思想，熟练掌握最大似然估计的步骤。3、理解置信区间的定义，掌握正态总体参数 2,的置信区间的求法。4、理解假设检验的基本思想和原理、假设检验的显著性水平和两类错误，掌握假设检验的一般步骤。5、熟练掌握单正态总体参数的假设检验。教学重点与难点：教学重点：评价点估计好坏的三个标准无偏性、有效性和相合性，最大似然估计的基本思想和基本步骤，置信区间的定义以及正态总体参数 的置信区间的求法，假设检验的基本思想和原理、假设检验2,的显著性水平和

2、两类错误、假设检验的一般步骤。教学难点： 利用评价点估计好坏的三个标准来判断哪个估计量是无偏的、有效的和相和的，利用最大似然估计的基本步骤求参数的最大似然估计量，会求正态总体参数 的置信区间，利用小概率事件不发2,生原理对给出的具体问题进行假设检验。5.1 点估计概述实际工作中碰到的随机变量往往是知道大致的分布类型，但不知道其中某些参数的真值。需要根据样本来估计总体的参数。这类问题称为参数估计。通常有两种方法：点估计：以样本的某一函数值作为总体中未知参数的估计值。区间估计：依据样本把总体的参数确定在某一范围内。一、点估计 1 1,)(,)n nXx 设 （ 为 来 自 总 体 的 样 本 ,为

3、 相 应 的 样 本 值 。是 总 体 分 布 中 的 未 知 参 数 ， 。 这 里 表 示 的 取 值 范 围111 111 (,)(,)(,) (,),(,)(,) nnn nnn hXhhx XXxx 为 了 估 计 参 数 ， 构 造 一 个 统 计 量 ， 然 后 用的 值 来 估 计 的 真 值 。 称为 的 估 计 量 ， 记 作 ； 称 为 的 估 计 值 ，记 作 ； 111 ,(),(,) riniX i 如 总 体 分 布 中 有 多 个 未 知 参 数 ， ， ， ， 则 称 统计 量 为 的 估 计 量 ， 相 应 的 值 为 的 估 计 值 如 待 估 参 数 为

4、 的 实 值 函 数 g(),则 称 用 来 估 计 g()的 统 计 量g()为 ()的 估 计 量 ， 称 相 应 的 值 为 ()的 估 计 值 1(;),(0). 0.168391478125. xfxex 例 5 设 某 种 型 号 的 电 子 元 件 的 寿 命 X以 小 时 计 ）为 未 知 参 数 ， 现 得 样 本 值 为， ， ， ， ， ， ， ，试 估 计 参 数 ,EXX解 ： 由 题 ： 因 此 用 样 本 均 值 作 为 的 估 计 量 是 自 然 的1(6825)17.9xX故 与 =7.分 为 的 估 计 量 与 估 计 值另二、评价估计量的标准定义 5.1

5、设 为未知参数 的一个估计量，如果 E则称 为 的无偏估计量。否则称 的有偏估计量。为1 1()()(1)1()1 (0825180nn nXX 也 可 以 作 的 估 计 量 ， 估 计 值 为 68 （ 也 可 以 作 的 估 计 量 ，2其 中 mi, max,)估 计 值 为 nlim,E若 则 称 无 的 渐 近 无 偏 估 计 量 1n22n2ii12 (X,.),E,DX(X) 例 5. 从 总 体 X中 取 一 组 样 本。 试 证 (1)样 本 平 均 值 是 的 无 偏 估 计 量样 本 方 差 S是 的 无 偏 估 计 量 （ 3)样 本 二 阶 中 心 矩 是 的 有

6、偏 估 计 量 ，但 它 是 的 渐 近 无 偏 估 计 量nii1(1)EX证 nni i2i1i12DDX（ ） n2ii1nn 22i ii1i1ESX()(n 2、有效性 12 1212 D, 定 义 5.设 与 都 是 的 无 偏 估 计 量 ， 若则 称 是 比 有 效 的 估 计 量 。n 22ii1n 22ii12EXnEnn2212213()()nii nEXESSnn（ ）2故 样 本 中 心 矩 是 的 有 偏 估 计 量 。 但2n1lim()niiEX2因 此 它 是 的 一 个 渐 近 无 偏 估 计 量 。()() gg 注 意 ： 如 果 是 的 无 偏 估 计

7、 量 ， 是 的 函 数 。 未 必 能 推 出是 的 无 偏 估 计 量 。 无 偏 性 只 保 证 了 的 概 率 平 均 等 于 ， 其 取 值 可 能 与 相 差 很 大 。要 保 证 的 取 值 集 中 于 附 近 ， 就 要 求 的 方 差 越 小 越 好 。12121 1 12.3: ,() XEXXD 例 设 总 体 的 方 差 存 在 且 大 于 零 ， 为 的 一 个 样 本 ， 则 与 都 是 的 无 偏 估 计 量 ， 但 故 比 有 效2225.4(1,)0,)nNX 例 设 总 体 其 中 未 知 ， （ 为来 自 总 体 的 样 本 。 考 虑 的 两 个 估 计

8、 量3、相合性2 212211()()()niiniiSX（ ） -222 21121()()nni iii iniiESXEXD所 以 它 们 都 是 的 无 偏 估 计 量 。421221nD而故 较 有 效 n n,0,limP1 定 义 5.是 的 估 计 量 ， 如 果 当 时 ,依 概 率 收 敛 于即 任 给则 称 为 参 数 的 相 合 估 计 量 。1215.,) ,12,knnkkiiXXDXnE 例 设 （ 为 来 自 总 体 的 样 本 ， 且 存 在则 为 的 相 合 估 计 量 ， =,.2122.6(,),)nN 2 例 设 （ 为 其 样 本 ， 试 证 样 本

9、 方 差 S是的 相 合 估 计 量 422 222 0,0|(1)ESDPPSnS 证 ： 因 为 ， 故 由 切 比 雪 夫 不 等 式 ， 对所 以 是 的 相 合 估 计 量5.2 参数的最大似然估计与矩估计一、最大似然估计1、极大似然估计法的基本思想 Xn下 面 在 已 知 总 体 概 率 分 布 时 ， 对 总 体 进 行 次 观 测 ， 得 到 一 个 样 本 ，选 取 概 率 最 大 的 值 作 为 未 知 参 数 的 真 值 的 估 计 是 最 合 理 的 。仅 就 离 散 型 总 体 合 连 续 型 总 体 做 进 一 步 分 析12,)nX设 （ 为 来 自 总 体 的

10、样 本 ， 的 分 布 类 型 已 知 ， 但 参数 未 知 ， 12111121 1() (;),) (;)(2) (;),)(;)()(; nnnni ii i nn ni ii iXPxXPxXLPxfxfxLf 若 是 离 散 型 随 机 变 量 ， ， 则 样 本 （的 概 率 分 布 为 ， 称 ，为 似 然 函 数若 是 连 续 型 随 机 变 量 ， 概 率 密 度 为 ， 则 样 本 （ 的密 度 函 数 为 ;称 为 似 然 函 数 总 之 ， 在 有 了 样 本 值 时 ， 似 然 函 数 L)反 映 了 的 各 个 不 同 值 导 出这 个 结 果 的 可 能 性 的

11、大 小 我 们 选 择 使 (达 到 最 大 值 的 那 个 作 为 真的 估 计 ， 这 种 求 点 估 计 的 方 法 叫 做 最 大 似 然 法 .1 111 (,)(,)()max(),(,),. n nnn xxLxXME 定 义 5.4若 对 任 意 给 定 的 样 本 值 ， 存 在 使则 称 为 的 最 大 似 然 估 计 值 ， 称 相 应 的 统 计量 为 的 最 大 似 然 估 计 量 。 它 们 统 称 为 的 最 大 似 然 估 计 ，记 为1212 111 12), ).(, (,)(,)max),rr rniinr rini LxLLx (， ， ， 如 果 未

12、知 参 数 为 ， ， ， 则 似 然 函 数 是 多 元 函 数 ， ，若 对 任 意 给 定 的 样 本 值 ， 存 在 使 (， ， ，则 称 为 的 最 大 似 然 估 计 值 ，正态总体 X 两个未知参数 的极大似然估计.2(,)N2和似然方程组为根据第一式,就得到: 代入第二式,就得到: 由上,似然方程组的解唯一.下面验证它是极大值点.1221 )0ln0,1,lnMLEri iLi 、 最 大 似 然 估 计 的 一 般 求 法（ ） 、 写 出 似 然 函 数 (， ， ，（ ） 、 令 或 从 中 解 得 驻 点 。（ 注 意 ： 与 有 相 同 的 最 值 点 ， 而 使

13、用 后 者 往 往 更 方 便 )(3)、 判 断 驻 点 为 最 大 值 点（ 4） 、 求 得 各 参 数 的 22 221()221() ()1;,(,()2ini iixniixnn xifxeLfxee 的 密 度 为似 然 函 数 22221,ln(,)ln()()niiLx所 以 212 22241ln(,)()0l, ()0nii niiLxx01nii22()niix2020202(,)2(,)4(,)0,|,|()nALBnCL是 的最大值点. 2(,)L所以 的极大似然估计量是和二、矩估计1、矩估计的基本思想：用样本矩估计总体矩，用相应的样本矩的函数估计总体矩的函数。记总

14、体 k 阶矩为 ()kkEX2200,ACB因 为 ， 是 极 大 值 点 同 时 也 是 最 大 值 点1 ()niixx所 以 221()niiXX().()ughug 最 大 似 然 估 计 的 不 变 性 ： 如 果 是 的 最 大 似 然 估 计 ， 是 的函 数 且 存 在 单 值 反 函 数 那 么 ， 是 的 最 大 似 然 估 计 。1105.8 (180)(),0,lnl,ixi ni PXEXLeidLx n 例 试 求 上 节 例 .中 元 件 的 平 均 寿 命 以 及 概 率 的 最 大 似 然 估 计 值解 ： 即 的 似 然 函 数 为 ： 令 解 得 172.

15、X x 故 是 的 最 大 似 然 估 计 量 。 从 而 的 最 大 似 然 估 计 值 为 180180172.() ,(180) 35xPeeX是 的 函 数 ， 由 不 变 性的 最 大 似 然 估 计 量 为从 而 的 最 大 似 然 估 计 值 为样本 k 阶矩为 1nkkiiAX记总体 k 阶中心矩为 ()kkE样本 k 阶中心矩为 1nkkiiB用相应的样本矩去估计总体矩的估计方法就称为矩估计法.用矩法确定的估计量为矩估计量，相应的估计值为矩估计值；矩估计量与矩估计值统称为矩估计，记做 ME。例 5.9 求正态总体 两个未知参数 的矩估计。2(,)N2和例 5.11 设 是取自

16、总体 X 的一个样本1,nX1212122(,;,)2) ,(3(,;,)(,;,)lsk kls lsgABggABME 、 矩 估 计 的 求 法（ ） 从 总 体 矩 入 手 将 待 估 参 数 表 示 为 总 体 矩 的 函 数 ：用 分 别 替 换 中 的即 为 的 2,nii(),() ,0,0,xefx为 未 知 参 数其 它其 中 求 、 的 矩 估 计 量5.3 置信区间引言前面，我们讨论了参数点估计. 它是用样本算得的一个值去估计未知参数。但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大。区间估计正好弥补了点估计的这个缺陷。一、置

17、信区间譬如，在估计湖中鱼数的问题中，若我们根据一个实际样本，得到鱼数 N 的极大似然估计为 1000 条。实际上，N 的真值可能大于 1000 条，也可能小于 1000 条。若我们能给出一个区间，在此区间内我们合理地相信 N 的真值位于其中. 这样对鱼数的估计就有把握多了。也就是说，我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真参数值. 这里所说的“可靠程度”是用概率来度量的，称为置信概率，置信度或置信水平。习惯上把置信水平记作，这里 是一个很小的正数.1置信水平的大小是根据实际需要选定的。例如，通常可取置信水平 =0.95 或 0.9 等。根据一个实际样本，由给定的置信水平，我们求出一个尽可能小的区间 使,