1、统计学基本概念与方法,孙 平东北大学数学系,,2.参数估计,1.预备知识,3.假设检验,4.方差分析,5.回归分析,统计学 ( Statistics ) 是一门收集与分析数据，并且根据数据进行推断的艺术与科学。 大英百科全书,(数理) 统计学中的数据都是随机数据。统计学的任务就是在随机性中去寻找规律。,统计学理论主要包含三个部分：1.数据收集，2.数据分析，3.由数据做出决策。,(一). 统计学的基本概念,统计学中把所研究的对象全体称为总体，总体中的每一个元素称为一个个体。,总体与个体都用数量指标来表示,1. 总体与个体 (population),即使面临的是一个定性的实际问题，也必须把有关的
2、资料定量化。,一. 预备知识,但同时在直观上又认为、或者希望做到：抽取出的每个个体 (样本) 都充分蕴涵总体信息。,从总体中取出一个个体，称为从总体中得到一个样本。,2. 样本 (sample),统计学的目的就是从样本去得出总体的信息。,由于各种原因与实际条件的限制，不可能得到一个总体中所有个体的数据。即样本总是总体的一小部分。,被研究的对象全体,具有代表性的 部分个体,总体,样本,.,独立同分布的样本称为简单随机样本。,总体被认为是一个服从某种概率分布 F 的随机变量。,样本是和总体随机变量有相同分布 F 的随机变量，样本的个数称为样本容量， n 。,总体分布 F 可以是未知的， 非参数统计
3、学,总体分布 F 的类型已知，但是含有一些未知的参数。 参数估计,(二). 数理统计学的主要内容,1. 抽样理论：介绍如何收集数据。主要 抽样方法，样本容量的确定，抽样误差， 敏感问题等,2. 参数估计：如何根据数据得到总体参数 信息。点估计、区间估计，Bayes 估计等,3. 假设检验： 如何对关于总体的一些假设 做出决策。正态总体参数的检验，分布拟合 检验，秩检验，列联表，统计决策等理论,4. 方差分析与回归分析：变量之间的效应 关系。 方差分析 分类变量与数值变量的效应关系 回归分析 研究数值变量之间的效应关系,5. 多元分析： 研究若干个变量之间的关系 聚类分析、判别分析、主成分分析、
4、 因子分析、典型相关分析等等,例1.1 希望了解某所高校学生月消费情况。,解决方法：从这所大学里随机地调查有代表性的一些学生，根据收集到的数据去得出这所大学学生每个月支出费用的有关信息。,1. 如何得到样本 ？,不同家庭背景学生的比例应该各占多少？样本容量应该取多少才合适？被调查者拒绝调查怎么办？,抽样调查,2. 如何确定总体的分布 ？,这里的总体是这所大学的学生月支出费用，我们不妨认为学生月支出费用是一个服从正态分布的随机变量。,根据经验或者是所讨论的问题的实际背景，总体的分布类型一般可以事先确定下来。,( 不同学校对应的这两个参数也就不相同 ),即，总体随机变量 X N (,2 ) ，而这
5、个学校相应的两个参数 与 2 是未知的。,Remark 当不知道或者难以确定总体的分布类型时，在统计学中常常采用下面两种办法来近似得到总体分布的有关信息。,(1). 直方图的方法,只适用连续总体，得到的是总体密度函数近似。,把收集到的 n 个数据 x1，x2 ，xn 从小到大排列： x(1) x(2) x(n) ；其次取区间 (a，b)，包含全部数据 a x(1) ，x(n) b ；,把 (a，b) 等分成若干小区间，计算每个小区间中包含的数据的频率。,x(1) x(n),根据这些频率做出相应的小区间上的矩形，则当 n 充分大时，这些小区间上矩形的面积将近似于总体的概率密度函数下曲边梯形的面积
6、。,(2). 经验分布函数的方法,构造一个分布函数，得到的是总体分布函数 F (x) 的近似。,Fn (x) =,0， x x(1) ， x(k) x x(k+1) 1， x x(n),这个函数实际上是观察值 x1，xn中小于 x 的频率，即 Fn (x) = x1，xn中小于 x 的个数 / n,k n,O,x,y,x(1),x(2),x(3),1/n,2/n,可以证明，经验分布函数 Fn (x) 将依概率、甚至是几乎处处收敛到 F (x) 。,3. 如何从样本得出总体的信息 ？,样本是一组与总体独立、同分布的随机变量，我们得到的数据是样本观察值，而不是样本。,调查一个学生得到了一个数据，相
7、当于对总体分布做了一次随机试验而观察到了这个随机变量的具体取值。,一共有 n 个数据，相当于对总体分布做了 n 次独立重复试验，而得到了这个总体随机变量在这些试验中的具体取值。,利用样本观察值去估计出总体的未知参数,直观上可以利用调查到的 n 个学生的月支出 x1 ,x2 ,xn 的算术平均 ：,去估计这所学校学生的平均月支出费用 。,它的合理性在哪？ 还有没有其它的办法？ 这些不同的方法各有什么样的优缺点？,数理统计学最重要的内容之一,参数估计,事先提出一个假设，利用样本观察值去检验这个假设是否可以被接受,假设检验,假定学校要制定相关一些政策，如奖学金、贷款、勤工俭学等；或者后勤服务、商业经
8、营的价格等等。,共同关心的一些问题，比如说： 0 ？ 这里 0 是一个已知的常数。,数理统计学最重要的内容之一,应该如何去做这个检验？,一种想法是：既然已经通过参数估计得到了这个学校学生月平均支出 ( 即总体的参数 ) 的估计值，自然就可以用它代替假设里的 去做检验： 当估计值比 0 大就接受这个假设，否则就拒绝,但是这样的风险很大：样本总是随机得到的，因此估计值与真实值之间不可避免地存在着随机误差。,传统的方法是：给出一个区域 (拒绝域)，如果估计值落在这个区域内，就拒绝原来的假设，否则就接受。,除了对总体参数的检验外，还有一些重要的假设检验问题，例如：,关于总体分布的检验,检验得到的样本数
9、据是不是来自于某个事先给出的总体,独立性的检验,检验一些分类变量之间是否是独立的，例如： 抽烟与肺癌，睡觉打鼾与心脏病,分布拟合检验,关于数据差异的检验,主要希望了解两组或多组数据间的差异究竟是来自于随机性，还是总体间的确存在差异？,例如： 小儿麻痹症、SARS疫苗的研制， 越战期间美国的征兵计划， ,以及我们在科学研究、工程实践、社会调查等等得到的数据,讨论数值变量之间的效应关系问题,比如说，想了解儿子身高与父亲身高之间的关系。 在每个被调查的家庭中同时获得这两个变量的观察值，分析它们是否有某种(函数)关系，,一元线性回归,多元线性回归,例如，钢的去碳量与不同矿石、融化时间、炼钢炉体积等等是
10、否有关？关系如何？,数理统计学重要应用之一,回归与相关分析,讨论分类变量与数值变量之间的关系,比如说产品质量与不同操作人员之间的关系。 是否某些人生产出的产品质量偏高？如果偏高，这种差异是否是纯属偶然原因，,单因素方差分析,数理统计学重要应用之一,方差分析,双因素方差分析,希望了解操作人员和设备这两个因素联合对质量的关系。各自单独是否有影响？交互效应如何？,简单的说，从概率论的角度出发， 可以把上述数理统计学的过程理解成：,有一个含有未知信息的概率分布 F,针对 F 做了 n 次独立重复的试验与观察，得到 n 个独立同分布于 F 的随机变量的取值,根据样本的具体观察值，去推断出总体 F 所包含
11、的未知信息，或作出进一步的决策等,例1.2. 如何分析与处理变量的关系？,分类变量：如性别、信仰、职业等等，顺序变量：如名次(第一、第二，)，数值变量：如收入、比例、产量等等,简单 复杂,Remark 可以把复杂的变量简化为简单变量，反之不行 数值变量 顺序变量 分类变量,变量组合与相应的统计分析方法,因变量 y,自变量 x 分类变量 顺序变量 数值变量分类变量 卡方分析 回归与相关顺序变量 秩方法 数值变量 方差分析 回归与相关,把两个变量分别作为横轴和纵轴描出散点,散点图(Scatterplot),散点图在简化数据的同时，能够保留原始数据的信息。,(三). 变量的统计图表示,例1.3. 下
12、面是 24 对夫妻的数据，有两个变量：结婚时间和一年内的吵架次数。,结婚年数 5 2 4 1 3 6 5 8 3 7 3 9争吵次数 10 20 16 15 9 6 8 5 10 7 8 6,结婚年数 10 15 13 20 16 25 22 14 15 19 17 20争吵次数 5 3 4 2 4 1 3 3 4 3 3 2,结婚时间与吵架次数的散点图,(2). 时间序列图,特殊散点图，以时间作为横轴的变量,时间序列图能够反映出一个变量随着时间而变化的趋势。,苏格兰羊,总体 X 的分布函数 F 含有未知的参数 ， 所有可能的取值范围称为“参数空间”，记为 。 从这个总体中抽取了一组样本 X1
13、，Xn ，相应的样本观察值是 x1，xn 。 应该如何估计出 的具体数值？,点估计就是利用样本构造一个合理的统计量： g (X1，Xn ) ；用它的观察值 g(x1，xn ) 去作为作为 的估计值。,二. 参数估计,你可以用这组数据中的任何一个，或者样本均值，或者是样本中位数等，作为 的估计值。,例2.1 甲同学在一个体重仪上称她的体重，假定 这个体重仪没有系统误差，每次称量的结果 是真实重量 加上一个随机误差 k 。一般认为 k N (0,2 ) ，因此 n 次称量的结果 Xk = + k N (,2 ),矩估计： 用样本的有关矩去作为总体有关矩的 估计。即样本均值作为总体期望的估计； 样本
14、方差作为总体方差的估计；样本中位数 (或众数) 作为总体中位数( 或众数 ) 的估计等 。,极大似然估计： 所有情况中 “看起来最象” 的那个估计,常用的点估计方法,例2.2. 假定盒子里黑、白球共 5 个，但是 不知道黑球具体数目。现在随机有放回抽取 3 个小球，发现是两个黑球和一个白球。 问盒子里最可能有几个黑球？,解：盒子里黑白球所有的可能有六种： 5白，4白1黑、3白2黑，2白3黑，1白4黑，5黑,以 p 记盒子里黑球所占的比例，则 p 全部可能的值是： 0， ， ，1 ,1 2 3 4 5 5 5 5,定义三个统计量 X1，X2，X3 表示抽样结果：取到黑球记为 1 ，否则记为 0
15、。因此X1，X2，X3独立同分布于参数 p 的两点分布。 例题中的三个样本观察值 x1，x2 ，x3 有两个取值是 1，一个取值为 0。,而样本的联合分布律显然是L(x, p) = px1+x2+x3 (1 - p )3 - x1 - x2 - x3= p2 (1 - p ),它的含义是：当盒中黑球比例为 p 时，随机事件“有放回取出的三个小球中有两个黑球、一个白球”的概率。,对应于参数空间中不同的 p ，样本分布 L(x, p) = p2 (1 - p ) 所对应的这些概率是：,p 0， ， ， ， ，1 L(x, p) 0， ， ， ， ，0,1 2 3 4 5 5 5 5,4 12 18
16、 16 125 125 125 125,既然“ 三个小球中包含两个黑球 ” 是已经发生了的随机事件，因此使得这个事件发生概率取最大的那个值就是未知参数 p 最有可能的取值 。 即 p 的极大似然估计就是 3/5 。,三. 假设检验,(一). 假设检验的思想,它是如下的一种统计推断：,对于一个统计模型，我们提出一个假设，根据抽取到的样本，来作出是接受还是拒绝这个假设。,小概率事件在一次试验中不应该发生。,有一种饮料由 Tea 和 Milk 混合而成，按照顺序的不同，分为 TM、 MT 两种，,有位女士声称她有能力品尝出是 TM 还是MT 。,为了检验她的说法是否可信，准备 8 杯饮料， TM 和
17、 MT 各一半，并且把这一点告诉她。 现在随机的让这位女士品尝，指出哪些是 TM ， 最终的结果是她全部说对了。,女士品茶,R.A.Fisher 的推理过程如下：,引进一个假设，,H0 ：这位女士没有鉴别能力,如果 H0 是正确的，她只能随机从 8 杯饮料中猜测 4 杯说是 TM 。全部猜对的概率为： = 0.014,现在她正确的说出了全部的 TM，要解释这种现象，只能有下面两种可能：,1 1 C84 70,H0 不成立，即：她的确有鉴别能力；(2) H0 成立，意味着一件概率为 0.014 的 随机事件在一次试验中发生了。,Fisher 认为，随机试验的结果(或样本) 构成不利于假设 H0
18、的显著性证据，因此应该否定H0 。,这种推理过程就称为：显著性检验,显著性是统计意义上的显著，意思是一个小概率事件是否发生。,一个概率不到 2% 的随机事件在一次试验中发生了，这是比较稀奇或者说不太可能的。,思考 假如这位女士只说对了 3 杯 ？,一个人纯粹靠随机的猜测，能够说对至少 3 杯的概率 ( 即 H0 成立的情况下，出现这种试验结果的可能性 ) ： = 0.243,显然我们不会对一个概率接近 25% 的随机事件在一次试验中发生而感到惊讶。 试验结果并没有提供不利于H0 的显著性证据，因此不能否定零假设 ，而应该接受H0 ，即应该认为这位女士没有鉴别能力 。,1+ C43 C41 17
19、 C84 70,(二). 假设检验的基本过程,例3.2. 当包装机器正常工作时，每袋葡萄糖 的重量应该是一个服从均值 0.5 kg，标准差 0.015 kg的随机变量。有一天随机地抽取了 9 袋包装好的产品，测量出它们的平均重量 是 0.511 kg，问这台包装机器是否正常工作？,(假定即使工作异常标准差也不会改变),1. 提出一个统计假设,根据题意每袋产品重量 X N (,0.0152 ) ， 如果机器正常工作，应该是 = 0.5 ，反之应该是 0.5 。,因此首先提出统计假设：,假设检验的任务就是要根据抽取出的样本，来决定是接受零假设，还是拒绝零假设 ( 接受对立假设 ) 。,H0： =
20、0 ( = 0.5 ) H1： 0 ( 0.5 ),2. 选取一个合适的检验统计量,它的分布当零假设成立时应该是已知的，而且一般是从待检验的总体参数的良好的点估计中去寻找。,在例题中需要检验的是总体期望 ，因此考虑样本均值，,零假设成立时 ( = 0.5 ) 则有：,3. 利用零假设成立时检验统计量的 分布构造出一个小概率事件,这个小概率就是给定的显著性水平(也称检验水平)，而这个小概率事件就是零假设的拒绝域，并且拒绝域必须和对立假设有关：零假设的拒绝域相当于对立假设的接受域 。,在例题中由于样本均值是总体期望 的一个良好的点估计，因此零假设成立( = 0.5 )时，偏差 应该比较小，不能够太
21、大。,而如果 比较大时，自然我们会认为零假设不成立，所以应该接受对立假设。所以零假设 ( = 0.5 ) 的拒绝域的形式就是 ：,根据检验统计量的分布， 有：,这个常数 z0 就可以取为 u/2,统计量| z | = 某个常数 z0,4. 代入样本观察值，如果使得这个小概率 事件发生，就否定零假设而去接受对立 假设。否则说明样本没有提供否定零假设 的显著性证据，因此应该接受零假设。,在这个例题里，检验统计量 | z | = = 2.2， H0： = 0 ( = 0.5 ) H1： 0 ( 0.5 ) 的显著水平 的拒绝域就是 2.2 u/2 。,30.011 0.015,假设检验默认的显著水平
22、是 =0.05,(1) 如果取 = 0.05，则2.2常数 z0 = 1.96 ，说明 一个概率为0.05 的随机事件发生了，样本提供 了机器异常的显著证据，应该否定零假设；(2) 如果取 =0.01，则2.2常数 z0 = 2.575 ，说 明一个概率0.01的随机事件没有发生，样本没有 提供机器异常的显著证据，应该接受零假设。,在不同的显著水平下，可以导致最终得出的检验结论完全不同。这个现象说明了显著水平 对于 H0的保护： 越小越不容易否定零假设。,(三). 卡方 检验,如果一组样本 X1，Xn 来自分布 F，需要检验是如下问题： H0：F = F0 H1：F F0,从理论上来说无论 F
23、 是离散还是连续分布，卡方检验都可以处理；不过它更适用于离散的总体，对于连续的总体 F ，采用 Kolmogrov 检验更好。,K.Pearson 的拟合优度检验思想,在实数轴上取 m 个点把 R1 分成 m + 1 个部分，以 vi 表示落在第i 个区间里的样本个数，pi 是总体随机变量 X 在这个区间中的概率：,x,t1 t2 t3 tm,x(1) x(n),当零假设 H0：F = F0 成立时pi 可以计算出： pi = F0(ti ) - F0(ti - 1 ) ，1 i m + 1； 这里 F0 (t0 ) = 0，F0(tm +1 ) = 1 n 充分大时，频率 vi/n 与概率
24、pi 应该相当接近， 因此如果零假设成立则统计量：,应该偏小，反之则可以否定零假设 H0：F = F0 。 1900年K.Pearson 证明了极限分布 K2 2(m)， 因此 H0 的一个水平 拒绝域近似为 K2 2(m) 。,总体 X 只可能取有限个值ai ，1 i k 。相应地，样本 X1，Xn中取值为ai 的个数为vi ，1 i k 。需要检验： H0：P X = ai = pi ，1 i k,取检验统计量：,则H0 的一个水平 检验的拒绝域为 K2 2(k - 1),例3.3. Mendel 的遗传学例子,Mendel 研究豌豆时发现豌豆有两种特性：圆与皱、黄与绿，他观察了 556
25、颗豌豆：,圆黄 皱黄 圆绿 皱绿 (总数)315 101 108 32 (556),而根据他的遗传学理论，Mendel 认为这些组合关系应该有理论上的概率：,圆黄 皱黄 圆绿 皱绿 (概率)9/16 3/16 3/16 1/16 (1),解. 总体分布的 k = 4，对应 K2 统计量为：,0.052(3)=7.815，0.902(3)=0.584，0.952(3)=0.352 甚至在水平0.90下都可以接受零假设，即认为Mendel 的遗传学理论是正确的。,从p-值的角度拟合优度 p = P 2(3) 0.47 这个值是0.9254 ，理论分布与实际数据相当吻合。,四. 方差分析,方差分析针
26、对方差相同的多个正态总体，检验它们的均值是否相同。 即， 同时判断多组数据均值之间差异是否显著,方差分析 ( Analysis of Variance，ANOVA ) ： 研究一个(或多个)分类自变量如何影响一个数值因变量的统计分析方法。,方差分析的特点 方差分析与一般的假设检验不同 要比较均值是否相同，可以使用第三章假设检验的方法，但是只能处理两个均值。 方差分析处理的是多个均值的情况。,方差分析的目的. 判断某些因素对于我们感兴趣的因变量是否 具有“显著”的影响，. 如果因素间有交互效应，寻找最佳搭配方案。,常见的方差分析主要有： 单因素方差分析，双因素方差分析， 多因素方差分析。, 方差
27、分析与回归、相关分析不同 回归与相关处理的是两个数值变量的问题，相应的散点在 x 轴上具有顺序(从小到大)，而方差分析的数据在 x 轴上可以任意交换位置。,考察小麦产量( y ) 对于品种和施肥量的关系。,Fisher的农业试验,选择了：两个不同的小麦品种， 三个不同的施肥等级；一共 23 = 6 种搭配做试验，建立模型。,y11 = 0 + 1 + 1 + 11 y12 = 0 + 1 + 2 + 12 y13 = 0 + 1 + 3 + 13 y21 = 0 + 2 + 1 + 21 y22 = 0 + 2 + 2 + 22 y23 = 0 + 2 + 3 + 23,yij 是小麦产量，1
28、、2 是品种效应，1、 2、 3 是施肥 等级的效应，0 是其它因素的 平均效应。,ij 是随机误差，i.i.d N (0,2 ),品种是否对产量有影响 H01： 1 = 2 施肥量是否对产量有影响 H02： 1 = 2 = 3,把这个模型写成矩阵的形式：Y = X + ,在方差分析中，同一个因素的不同水平看成是模型里的不同变量，而不能看成是同一个自变量在不同试验里的取值。(否则需要 y 对 x 有线性相依关系),五. 回归与相关分析,回归与相关分析是用于讨论数值变量之间关系的统计分析方法。,回归分析研究一个(或多个)自变量的变化如何影响因变量， 相关分析研究这两个数值变量的相关程度。,Reg
29、ression,y = 33.73 + 0.516 x (单位：英寸),直观上在一个总体中有两个特征( X,Y )，观察了n 次得到平面上的 n 个点 ( x1,y1 )，( xn,yn ) 。,x,y,o,如果一条曲线 y = f (x) 基本上通过这些点，或者这些点的大多数与这条曲线偏离很小，则称曲线是对观察值的拟合曲线，或者称为是 y 对于x 的回归曲线。,“回归”的含义,在理论上，假定( X,Y )有联合分布，二阶矩存在，则当X 取某个值 x 时Y 有一个确定的条件分布 F( | x)，这个分布的数学期望即条件期望 E(Y|x) 存在，E(Y|x) 就称为Y 对于x 的回归(函数),如
30、果X 是一维随机变量，则E (Y|x) 就称为一元回归函数(主要是回归直线)； 当 X 是多维随机变量时就是多元回归(曲面),Remark 采用条件期望E(Y|x) 而不是其它的函数 y= g(x) 作为Y 对于 x 的回归，原因是在均方误差的意义下条件期望是最优的。,如果 E(Y|x) 就是 x 的线性函数，即： E(Y|x) = 0 + x11 + xkk ，线性回归模型就定义成：,yi = 0 + 1 xi1 + k xik + i ，1 i n i 独立同分布于 N (0,2 ),y = 0 + x11 + xkk 就称为是回归方程,这时不再把 x 看成是随机变量X 的观察值，而看成是一般的数量变量，因此线性回归模型也是一种线性模型：Y = X + ，E = 0,
