概率论中的大数定律及中心极限定理.doc

1、1概率论中的大数定律及中心极限定理唐南南摘要 概率论是从数量上研究随机现象的规律的学科，概率论的特点是先提出数学模型，然后去研究它的性质，特点和规律。它在自然科学，技术科学和社会科学等科学中有广泛的应用。而大数定律和中心极限定理的内容是概率论中极限理论极为重要的一部分内容。在这篇文章中，我们从贝努力试验中的频率出发，讨论了独立随机变量和分布的极限问题。在一定条件下，这些分布弱收敛于退化分布，这就是大数定律。在另一些条件下，这些分布弱收敛于 N(0,1)分布,这一类收敛于 N(0,1)分布的定理统称为中心极限定理.大数定律说明了随机现象都具有稳定性而中心极限定理是研究相互独立随机变量序列 的部分

2、和 的分布，在适当条件下向正态分布收放的问题。ixnixS1在这篇文章里，我们只介绍了一些定理的提出，内容以证明以及在其他学科上的应用，而大数定律和中心极限定理还有许多更深入，更广泛的内容，限于篇幅这里就不再介绍了。掌握定理的结论是重要的，这些结论一方面使频率稳定于概率，n 次观察的算术平均值稳定于数学期望都有了明确的含义和理论依据；另一方面，又将给数理统计中大样本的统计推断等提供理论依据。 关键词 大数定律 中心极限定理 随机现象 随机变量引言大数定律和中心极限定理是概率论中重要的一部分内容，但对读者来说，多数人对于这部分内容感到很难掌握，这篇文章就是对这部分内容进行浅入的分析，但对其内容进

3、行详细的说明，而且进行了归纳性的总结，指出了各定律之间的联系及其差别，希望通过本篇文章内容的介绍，能使读者对于这部分知识有一个清晰的印象，能整体地把握这部分内容。一 、大数定律（一） 、问题的提法（大数定律的提法）重复实验中事件的频率的稳定性，是大量随机现象的统计规律性的典型表现。人们在实践中认识到频率具有稳定性，进而由频率的稳定性预见概率的存在；由频率的性质推断概率的性质，并在实际应用中（当2n 充分大时）用频率的值来估计概率的值。这些都是概率的公理化定义的实际背景。概率的概念以及在此基础上建立的理论应该与实际相符合。因此，我们需要对频率的稳定性这一实际作理论的说明。其实，在大量的随机现象中

4、，不但事件的频率具有稳定性，而且大量随机现象的平均结果一般也具有这稳定性：单个现象的行为对大量随机现象共同产生的总平均效果几乎不发生影响，这就是说，尽管单个随机现象的具体实现不可避免地引起随机偏差，然而在大量随机现象共同作用时，由于这些随机偏差互相抵消，补偿和拉平，致使总的平均结果趋于稳定。例如，在分析天平上称量一质量为 u 的物品，以 ， 表21,n示 n 次重复测量的结果。经验告诉我们，当 n 充分大时，它们的算术平均值 对 u 的偏差却很小，而且一般 n 越大，这种偏差越小。ni1如果把一连串的观察结果 ， 看成随机变量，则上述直观现实21,n表明，当 n 充分大时，在一顶的收敛意义下，

5、有 ，它就是大量uni1随机现象的平均结果稳定性的数学表达式。频率的稳定性也可以表达成 这种形式。为此令uni1i=1,2，n。次 试 验 中 不 出 现若 在 第 次 试 验 中 出 现若 在 第 ii,01那么， 是 n 次试验中 A 出现的频数。频率的稳定性指的是随ninAu1着 n 无限增大，频率 趋于稳定概率 附近，即在一定的收敛意义Pn P下 。概率论中，一切关于大量随机现象的平)()(1uPinn均结果稳定性的定理，统称为大数定律，按收敛性的含义不同，大数定3律有弱大数定律和强大数定律之分。（二） 、大数定律的内容及证明1、 在证大数定理时，我们经常用到著名的切比雪夫不定式，首先

6、我们来讲这个不定式 。2设随机变量 X 有期望 和方差 ，则对于任意 0,有xExD或2DxEP21xP证明：（1）：x 是离散型随机变量的情形。（ ）222xDEXPxPkxkkkxEk KPXx（2）x 是连续随机变量的情形。 设 x 的密度函数是 ，则有xPxExdP积分区域如图： P(x)E(x)- E(x) E(x)+ 由于 ,)(,xExxE所 以即 于是有.222 21 xDdPxEdxPxxPEx 切比雪夫不定式给出了在随机变量 x 的分布未知的情况下，对事件X 4xE（或事件 的概率的一种估计方法。例如在式子xE中令 ，并令 ，则有21DxP43、uxE（ ）89.03u89

7、.0275.4x式子 给出了离差不小于 的概率的上界，而式子2xDxEP给出了离差不小于 的概率的下界，而且二个式子1x对任何具有方差的随机变量都成立。从第二个式子中又可以看到，越小，概率 就越大，说明 x 取值集中于其期望周围的xDxEP程度越高； 越大，概率 就越小，说明 x 取值集中于平x均值附近的程度越低，这就使我们方差定义的含义有了进一步的理解。例 1 对小麦品种做发芽试验，种子发芽的概率未知，问要用多少颗小麦做试验才能认为发芽的概率与 P 相差不超过 1/10 的概率达到 95%？解：用 Sn表示试验的 n 颗种子中发芽的颗数，则发芽的频率是 ，我nS们要确定 n，使得 n 满足

8、或 。%9510PSn %510PSn因为 Sn服从二项分布，所以，E(Sn)=nP, D(S n)=nP(1-P).又因为 P(1-P)=-P2+P=-(P- )2+ 故 p(1-p) 441npPSn 510(25说明所选的 n 要满足 5%，即 n 500252、现在再讲述一种常见的大数定律的数学定义假设 ， ， ，是随机变量的序列，令 = ， 如果12nnn21存在这样的一种常数序列 1， 2，n，对任意的 ，恒有则称序列 （接算术平均值）服从大数定律。nlim,napn必须指出，更加一般地描述大数定律的形式是：对于随机变量序列，n令 n（ 1， 2， n） ，这里 n是 （ ）的对称

9、的函f i,21数。如果存在常数列序列 1， 2， n，对任意的 ，成立，则称这种随机变量的序列按函数 fn服从大数定律。nlim,nap3、下面具体介绍几个大数定律的内容及证明。（1）切比雪夫大数定律。、定义 设 X1， X2， ，X n， 是一个随机变量序列，若存在常数 a，使得对任意 ，都有 则称随机变量序列0lim,1ap依概率收敛于 a，记作 。nXn、定义 设 X1， X2， ，X n， 是一个随机变量序列，数学期望存在，使得对于任意 ，都有,.21ixE0nlim，则称随机变量序列 服从大数定律。,111 niiniiEXp X服从大数定律，实质是说 。n 01Pniinii、定

10、理 若独立随机变量序列 X1，X 2，X n，各有数学期望 ，方差 ,则对于任意 ,iiuXE 无 关 的 常 数是 与 icicXDi .,2 06有 。nlim11niniiuXp、证明：令 ，由于 Xi相互独立，所以nii1 niuXE1由式子 可以得到nin ncXD12221xDxEP221XDEPnn 当 n 时，取极限使得 但由于概率不可能大nlim,1nnXEp于 1，所以 nlim,1nEp结论：这个定理表明，在定理成立的条件下，当 n 充分大时，n个独立随机变量 X1， X2， ，X n， 的算术平均数这一随机变量 的分布，X对于它的数学期望 的附近，而当 n 充分大时，与

11、其期望之差依niiE1概率收敛到 0。此处所谓大数的“大”是指定理中极限等式右端的“1” 。推论：若 X1， X2， ，X n， ，是独立在同分布的随机变量序列，且 E（X i）=u，D（X i）= （i=1，2，） ，则对于任意的 ，都有 0nlm11upnii这一推论使我们关于算术平均值的法则有了理论依据，经过算术平均后得到的随机变量 ，其分布随着 n 的增大越来越紧密地聚niiX1集在它的期望附近。切比雪夫定理为我们提供了关于用抽样算术平均数估计总体平均数（期望）的理论依据。假如在相同的条件下进行 n 次重复抽样，得到 n 个不同的值 X1， X2， ，X n， 我们可把这些结果看成独立

12、同分布的随机变量 X1， X2， ，X n的试验数值，且 E（X i）=u，7D（X i）= 。由这个推论可知，当 n 充分大时，取 作为 u 的2 niiX1估计值，其误差一般是很小的，这就是说，对于同一随机变量 X 进行 n次独立观察，则所有观察值的平均数依概率收敛于 X 的期望值，即，因此在实际中我们用抽样算术平均数 来估计总体期望uXpn nii1u。下面举出一些切比雪夫大数定律的一些重要的特例。 （2）贝努里大数定律。 X 0 1Px1 1-P P 定理 X 1， X2， ，X n为随机变量序列，X k有分布列 i=1，2，若 X 是 n 次试验中时间 A 发生的次数，则有 ，即对于

13、任意给定Pnx 的 有，0nlim1px证明：X i为第 i 次试验中事件 A 发生的次数。由于niPDPEii ,.21, 又因为 X1， X2， ，X n相互独立，且 X= ，再由切比雪夫定理的推论iiX1可以得到 ，即 ，亦即Pnx nlim1ppnii nlim1px说明： 我们在叙述重复试验中事件 A 出现的规律时可知事件 A的频率具有稳定性，贝努里大数定律对于之一事实作了理论上的说明。8设时间 A 的概率为 p，X k为第 k 次独立重复试验中事件 A 出现的次数，则 Xk有分布列 Xi 0 1 i=1，2，根据贝努里大数定律 Pxi 1-P PpXnxii 1就是说，独立重复试验

14、中事件 A 出现的频率稳定性是指依概率收敛于它的概率。由贝努里定理知道，当试验次数很大时，事件出现的频率与概率有较大的偏差的可能性很小。由实际推断原理，当试验次数很大时，便可以用频率来代替概率。例如，某工厂的产品的次品品率为 p，产品中抽出 n 件产品，出现次品数为 u，频率 u/n 与次品率 p 之间的偏差是 。pnu当 n 很大时，概率 的实际意义是：进行 N 次抽样9.02.pn每次抽 n 件产品，在 n 次抽样中使 成立的有 M 次，当 n 充分2.pnu大时，有 。9.0pNM贝努里定理是在试验的条件不改变时来讨论频率的，而实际上进行多次试验的条件不可能是绝对不变的。例如电话打不通的

15、概率（称为损失率）白天和晚上就不一样。虽然如此，仍然能发现频率的稳定性。我们有下述的普哇松定理。（3）普哇松定理。定理：在一个独立试验序列中，事件 A 在第 k 次试验中出现的概9率为 Pk， 且设 u 是起初 n 次试验中事件 A 出现的次数，则 nlim1.21nppu证明：作随机变量 uk：第 k 次试验时如果事件 A 出现，它为 1，反之为 0，则 u=u1+u2+un。 易知 Mu k=Pk， 41kkPDu再由切比雪夫定理可得到本定理。（4）辛钦大数定律定理：设 均为相互独立相同分布的随机变量，且具有,.,21n有限的数学期望（ ） ，则对任意的 ，有,.21Ma 0nlim。11

16、npk证明：在证明之前先介绍在证明中要用到的定理及该定理的系。定理 如果随机变量序列 依概率收敛于随机变量 ，则该,.,21n序列 ，分布函数序列 弱收敛于 的分布函数 定理的系。n)(XFn )(XF依概率收敛于常数 C 的充要条件是 的分布函数 Fn(x) 弱n收敛于退化分布 F(x)= 下面证明辛钦大数定理。cx,10由于 具有相同分布，故有一特征函数，设为 。因为数,.,21n t字期望存在，故 可以展成 。而 的ttaitot 101nk1特征函数显然为 ，对于任意固定的 t， =nt nt。而 eait为 的特征函数，其对应的分布enaitait1a函数弱收敛于 G(x)= 。依特

17、征函数的逆极限定理， 的分布x,01 nk110函数弱收敛于 G(x)，从而由前面的系， 依概率收敛于 a，即nk111limanpk说明：贝努里大数定律成立时，要求 D(xi)存在，若 D(xi)不存在时，则可应用辛钦大数定律。（三）加强大数定律的内容及证明到现在为止还不能从贝努里定理作出：“当试验次数无限增加时，频率趋于概率”的推断。事实上,贝努里定理只能肯定对任意小的正数，使得对充分大的 n 成立着 ，因而 并不是绝对和 1pnunu趋向于 p，这个结论只告诉我们，当 n 充分大时，不等式 成立p是小概率事件，这事件虽然在一次试验中可以认为不出现，但在多次重复下就会出现，特别是在现代电子计算机的运算中，它在极短的时间内可以进行大量的计算，在一次计算中可以认为计算结果与真数相差较大的情况不会出现，但在大量的重复计算中，可以出现与真数相差很大的情况。因此，为了避免因大量运算中造成结果相差很大的情况出现，以概率为 1 地保证在试验次数不断增加时使运算结果愈加精确就显得极为重要了。而加强大数定律，就是研究这类问题的。为了讨论加强大数定律，我们先引进一个重要的概念随机变量序列的收敛性，即对于任意的 ，有 。00limnp如果对于一个随机变量序列 及随机变量 ，有 ，则n1np称随机变量序列 以概率 1 收敛于 。所谓一个随机变量序列 是服n n