1、1,第三章 假设检验,1 假设检验问题 2 正态总体均值的假设检验3 正态总体方差的假设检验4 p值检验法5非参数检验,2,由于是未知的,上式只是一个假设(假想),它可能是真,也可能是假,是真是假,有待于用样本进行验证(检验)。,参数的点估计方法建立了参数的估计公式,并利用样本值确定了一个估计值,认为参数的真值,3,1 假设检验问题,1 统计假设 2 假设检验的思想方法3 数假设检验问题的步骤,4,1. 统计假设,问题 1 一台机器加工某零件,零件尺寸X服从正态分布N(,2)其中 2反映加工精度,为已知,图纸标定零件尺寸为50(毫米),如果=50则机器工作正常,否则为不正常,但是未知参数.今从
2、机器生产的一批零件中任取10件,并测得其尺寸,如何根据这10个样本值判断“机器工作是正常的”这个命题是否成立?,请看以下几个问题,若用H0表示”=50”,用H1表示其对立面,即” 50”,则问题等价于检验H0 =50是否成立,若H0不成立,则H1 50成立.,5,问题2 某种疾病,不用药时其康复率为0,现发明一种新药(无不良反应),为此抽查n位病人用新药的治疗效果,设其中有s人康复,根据这些信息,能否断定“该新药有效”?,问题3 有一颗骰子,如何知道它是否均匀?这里均匀的含义是指掷出各点的概率相等.,记 H0 : =0 , H1 : 0,记 H0 : p1 = p2 = p6=1/6, H1
3、: p1 p2 p6 不全相等,其中 pi 是骰子掷出i点的概率,6,统计假设:数理统计学中有待验证的陈述或命题.,假设检验:利用样本对假设的真假进行判断.,参数假设检验:在总体的概率分布已知情形下,对分布中的未知参数作假设并进行检验.,非参数假设检验:若总体的分布未知,对总体的分布形成或参数作假设并进行检验.,7,在假设检验问题中,常把一个被检验的假设称为原假设或零假设,而其对立面就称为对立假设.上述各问题中, H0 为原假设,H1为对立假设.当H0不成立时,就拒绝接受H0而接受其对立假设H1.对立假设往往也称为备选假设,不论是原假设还是对立假设,若其中只含有一个参数值,则称为简单假设,否则
4、称为复合假设.,8,2. 假设检验的思想方法,小概率原理 概率很小的事件在一次试验中不会发生.如果小概率事件在一次试验中竟然发生了,则事属反常,定有导致反常的特别原因,有理由怀疑试验的原定条件不成立,概率反证法 欲判断假设H0的真假,先假定H0真,在此前提下构造一个能说明问题的小概率事件A.试验取样,由样本信息确定A是否发生,若A发生,这与小概率原理相违背,说明试验的前定条件H0 不成立,拒绝H0 ,接受H1;若小概率事件A没有发生,没有理由拒绝H0 ,只好接受H0.,9,反证法的关键是通过推理,得到一个与常理(定理、公式、原理)相违背的结论.“概率反证法”依据的是“小概率原理”.那么多小的概
5、率才算小概率呢?这要由实际问题的不同需要来决定.以后用符合记小概率,一般取=0.1,0.05等.在假设检验中,若小概率事件的概率不超过,则称 为检验水平或显著性水平.,10,通常反证法与概率反证法的区别,假设命题H0为真,H0为假,某一定理.定律.公理,H0真假待定,假设命题H0为真,H0为假,小概率原理,H0为真,11,例1 设总体X N( , 2 ), =0.06,现从总体中抽取容量为10的样本,算得样本均值50.02 ,问总体的均值是否等于50?(取=0.05),解 由问题提出假设 H0 =50 , H1 50 . 在H0成立的前提下,统计量,因此接受假设H0,即认为总体均值等于50,说
6、明小概率事件A未发生,12,错误在于:在H0成立的前提下,这样取小概率事件A不合理.,注:本例中若取小概率事件为,最后的检验将出现这样一种倾向: 越与50接近,越要拒绝H0 = 50.这样的检验方法显然不合理.,13,3 数假设检验问题的步骤,总结上述处理问题的思想与方法,可得检验参数假设检验问题的步骤如下:,(1)提出假设:根据问题的要求,提出原假设H0与对立假设H1,给定显著水平及样本容量n.,(2)确定拒绝域:用参数 的无偏估计来代替 ,分析拒绝域D的形式,构造检验统计量g(x),在H0成立的前提下确定g(x)的概率分布,通过等式,确定D,(3)执行统计判决:求统计量的值,并查表求出有关
7、数据,判断小概率事件是否发生,由此作出判决.,14,用概率反证法检验一个假设的推理依据是小概率原理.在一次抽样中,若小概率事件发生了,则拒绝原假设;若小概率事件没有发生,拒绝原假设的理由不充分,因而只好接受原假设.这样的检验结果可能出现以下两种类型的错误,4 假设检验问题的错误,15,一个优良的检验法,应使两种错误的概率尽可能小.这两方面的要示是矛盾的。,16,在区间估计问题中,“置信度高”与“估计精确”是矛盾的,那里,我们采用在保证一定的置信度下使区间长度尽可能小的原则.选择一种优良检验的策略思想与此类似,即先保证弃真的概率不超过指定值,再设法控制取伪概率.,17,第三章 假设检验,1 假设
8、检验问题 2 正态总体均值的假设检验3 正态总体方差的假设检验4 p值检验法5 非参数检验,18,2 正态总体均值的假设检验,1.单正态总体均值的检验 2.两正态总体均值差的检验,19,1. 单正态总体均值的检验,设总体X N(, 2),样本为X1, X2 , , Xn,样本均值,样本方差,20,双侧检验 H0: = 0,H1: 0,(1)方差2已知U检验,小概率事件 |U|d,在H0 成立的前提下,选检验统计量,拒绝域为 |u| u/2,由 P |U| u/2 = , 得 d = u/2,此检验法称为U检验法(检验统计量服从正态分布).,21,单侧检验 H0: = 0,H1: 0,而应取为小
9、概率事件 Ud,在H0 成立的前提下,选检验统计量,拒绝域为 u u,由 P U u/2 = , 得 d = u,u,小概率事件不能取 |U|d,同理可给出 H0: = 0,H1: 0 的拒绝域为u d,拒绝域为 |t| t/2 (n-1),由 P |T| t/2 (n-1) = , 得 d = t/2 (n-1),此检验法称为T检验法,23,2.两正态总体均值差的检验,XN(1,12),YN(2,22), X,Y相互独立,X的样本为X1,X2,Xn1,Y的样本为Y1,Y2,Yn2,检验H0:1-2=0, H1:1-20,(0为常数),X, Y的联合样本方差为,24,(1)方差12 ,22已知
10、,H0: 1-2 = 0, H1: 1-2 0,(0为常数),选统计量,25,H0: 1-2 = 0, H1: 1-2 0,(0为常数),(2)方差12 ,22未知, 但12 =22 =2,选统计量,其中,小概率事件 |T|d,拒绝域为 |t| t/2 (n1+ n2- 2),由 P |T| t/2 (n1+ n2- 2) = , 得 d = t/2 (n1+ n2- 2),26,H0: 1-2 = 0, H1: 1-2 0,(0为常数),(3)方差12 ,22未知,但n1,n2 都很大,选统计量,则当n1,n2 都很大时,近似地有,27,第三章 假设检验,1 假设检验问题 2 正态总体均值的
11、假设检验3 正态总体方差的假设检验4 p值检验法5 非参数检验,28,3 正态总体方差的假设检验,1.单正态总体方差的检验 2.两正态总体方差比的检验,29,1.单正态总体方差的检验,原假设H0:2=02,对立假设H1: 2 02,小概率事件,由,拒绝域为,选统计量,30,2.两正态总体方差比的检验,XN(1,12),YN(2,22), X,Y相互独立,12 / 22为方差比,H0: 12 / 22 =1,即12=22 , H1: 12 22 ,,拒绝域,选统计量,31,第三章 假设检验,1 假设检验问题 2 正态总体均值的假设检验3 正态总体方差的假设检验4 p值检验法5 非参数检验,32,
12、前面讨论的假设检验方法称为临界值法,此法得到的结论是简单的,在给定的显著性水平下,不是拒绝原假设,就是接受原假设。,但应用中可能会出现这样的情况:在一个较大的显著性水平(如=0.05)下得到拒绝原假设的结论,而在一个较小的显著性水平(如=0.01)下却得到接受原假设的结论. 这种情况在理论上很容易解释:因为显著性水平变小后会导致检验的拒绝域变小,于是原来落在拒绝域内的观测值就可能落在拒绝域之外(即落入接受域内)。,33,34,对于给定的样本,即已知的事件,确定了一个拒绝域,此区域对应的是多少呢?,此只与样本有关,称为该检验对应于这组样本的p值,n维随机样本落在此虚线围城的区域内的概率.,35,
13、例1 一支香烟中的尼古丁含量 ,质量标准规定 不能超过1.5mg,现从某厂生产的香烟中随机地抽取20支,测得平均每支香烟尼古丁含量为1.97 mg,该厂生产的香烟尼古丁含量是否符合标准的规定?,按题意,需要检验假设,这是一个有关正态总体下方差已知时对总体均值的单边假设检验问题,采用u检验法得拒绝域为,36,在以下表中列出了显著性水平取不同值时相应的拒绝域和检验结论,由已知数据可算得,由此可以看出,对同一个假设检验问题,不同的可能有不同的检验结论,37,假设检验依据的是样本信息,样本信息中包含了支持或反对原假设的证据,因此需要我们探求一种定量表述样本信息中证据支持或反对原假设的强度.,现在我们换
14、一个角度分析例1,则,注意:u 是的减函数,给定,拒绝域为,38,当以0.0179为基准做比较时,则上述检验问题的结论如下表所示,39,一般在一个假设检验中,利用观测值能够做出的拒绝原假设的最小显著性水平称为该检验的p值. 按p值的定义,对于任意指定的显著性水平,有以下结论,有了这两条结论就能方便地确定H 0的拒绝域. 这种利用p值来检验假设的方法称为p值检验法,40,p值反映了样本信息中所包含的接受原假设H 0的依据的强度,p值实际上是我们已经观测到的一个小概率事件的概率,显然,p值越小, H 0越有可能不成立,说明样本信息中反对 H 0的依据的强度越强、越充分. 引进p值的概念有明显的好处
15、,一方面,p值比较直观,它避免了在检验之前需要主观地确定显著性水平;另一方面,p值包含了更多的拒绝域的信息。,一般:p0.01,拒绝H 0 ,称检验是高度显著的;0.01 0.1,一般来说,没有理由拒绝,接受H 0,41,在现代计算机统计软件中,一般都给出检验问题的p值. 在科学研究以及一些产品的数据分析报告中,研究者在讲述假设检验的结果时,往往并不明显给出检验的显著性水平以及临界值,而是直接引用检验的p值,利用或者是让读者利用它来评价已获得的数据反对原假设的依据的强度,从而对原假设成立与否做出自己的判断。,42,第三章 假设检验,1 假设检验问题 2 正态总体均值的假设检验3 正态总体方差的
16、假设检验4 两种类型的错误5 p值检验法6 非参数检验,43,前面有关章节讨论的参数检验都要求总体服从一定的分布,对总体参数的检验是建立在这种分布基础上的.非参数检验是一种与总体分布状况无关的检验方法,它不依赖于总体分布的形式,应用时可以不考虑被研究的对象为何种分布以及分布是否已知。,实际应用中所遇到的统计问题往往并不知总体的分布,我们想要根据一组样本的信息来推断总体是否属于某种理论分布,或者判断某种现象的出现是否是随机的,或者是两种及两种以上的现象之间是否有联系,及联系的紧密程度如何等等。,44,6 非参数检验,1 分布拟合检验 2 列联表的独立性检验,45,1 分布拟合检验,利用统计资料做
17、出推断,常常必须选择某种已知的概率分布来近似所研究的频率分布,或者说检验某一实际的随机变量与某一理论分布之间的差异是否显著。这样就可以用来确定某种具体的概率分布究竟是否符合某种理论分布,如二项分布,泊松分布或正态分布,但是我们需要分析这种近似存在多大程度的误差。,46,1 )分布拟合检验问题,检验 H0: F ( x ) = F *( x ) ,H1: F ( x ) F *( x ),设总体的真实的分布函数为F ( x ) ,但它是未知的。需要检验总体是否与某种已知的理论分布 F *( x )相一致.,非参数检验的程序和前面介绍的参数假设检验一样,首先也建立假设,然后构造检验统计量,分布拟合
18、检验采用2 (卡方) 检验法 ,47,区间,2) 2 检验法,样本分组与计算:取m -1个实数,将数轴分为m 个区间,pk表示服从于已知的分布函数 F *( x )的总体X在每个区间 上的取值概率。,概率,记,48,描述了F *( x )与样本描述的分布之间的差异。,构造检验统计量:,49,2 列联表的独立性检验,统计上经常会遇到判断两个变量之间是否有联系的问题。如果两个变量之间没有联系则称作是独立的。如,吸烟与患慢性气管炎病是否有关?,色盲与性别是否有关?,求职中是否存在学历歧视?,人们对一些社会热点问题的看法是否随时间流逝有所改变?,50,检验 H0: X, Y 独立,H1: X, Y 不
19、独立,设X F1( x ), Y F2( y ), (X,Y) F ( x , y ),事件的概率用频率代替,采用2 (卡方) 检验法 ,若独立,则有 F ( x , y ) =F1( x ) F2( y ),但这些概率函数均未知 ,记 A = X ( a , b , B =Y ( c , d ,若 P( AB) = P( A)P(B) 对任意a , b ,c , d成立,则X, Y 独立。,51,例1 随机抽取1000人按性别(男,女),色觉(正常,色盲)两个属性分类,得到如下二维列联表,性别男女,问色觉是否与性别有关?,色觉 正常 色盲 535 65 382 18,检验 H0: X, Y
20、独立,H1: X, Y 不独立,性别 X,X = 1 表示男性, X = 0表示女性;色觉Y ,Y = 1 表示正常, Y = 0表示色盲。,52,将研究对象的观察数据按两个变量X, Y分别进行分类。,1) 列联表,将nij排成一个二维表格,按这种方法得到的表称为列联表。,记nij为:X取值属于i类,Y取值属于j类的数据的个数,53,54,2) 2 检验法,描述了X, Y 之间的不独立性程度。,构造检验统计量:,拒绝域,55,例2 为研究儿童智力发展与营养的关系,某研究机构调查了1436名儿童,得到如下数据,问儿童智力发展与营养是否有关?(= 0.05),56,拒绝域,检验 H0: X, Y 独立,H1: X, Y 不独立,营养 X,X = 1 表示良好, X = 0表示不良;智商 Y,解:,57,认为营养对儿童智力发展有影响。,计算,故 拒绝H0,58,符号表,N( , 2 ), , ,H1 50, ,X1, X2 , , Xn,