1、第一章多元正态分布1.在数据处理时，为什么通常要进行标准化处理？数据的标准化（normalization ）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是 0-1 标准化和 Z 标准化。（1）0-1 标准化(0-1 normalization)也叫离差标准化，是对原始数据的线性变换，使结果落到0,1区间，转换函数如下：其中 max 为样本数据的最大值，min 为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致 max 和 min 的
2、变化，需要重新定义。（2）Z-score 标准化(zero-mean normalization)也叫标准差标准化，经过处理的数据符合标准正态分布，即均值为 0，标准差为 1，也是 SPSS 中最为常用的标准化方法，其转化函数为：其中 为所有样本数据的均值， 为所有样本数据的标准差。2、欧氏距离与马氏距离的优缺点是什么？欧氏距离（Euclidean distance）也称欧几里得度量、欧几里得度量，是一个通常采用的距离定义，它是在 m 维空间中两个点之间的真实距离。在二维和三维空间中的欧氏距离的就是两点之间的距离。缺点：就大部分统计问题而言，欧氏距离是不能令人满意的。 （每个坐标对欧氏距离的贡
3、献是同等的。当坐标表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的方法是对坐标加权，使变化较大的坐标比变化较小的坐标有较小的权系数，这就产生了各种距离。当各个分量为不同性质的量时，“距离”的大小与指标的单位有关。它将样品的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。没有考虑到总体变异对距离远近的影响。马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯提出的，表示数据的协方差距离。为两个服从同一分布并且其协方差矩阵为 的随机变量与的差异程度:如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离 ,如果协方差矩阵为对
4、角阵,则其也可称为正规化的欧氏距离。它是一种有效的计算两个未知样本集的相似度的方法。对于一个均值为 ，协方差矩阵为 的多变量向量，样本与总体的马氏距离为(dm)2=(x- )(-1)(x-)。在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关。（它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的(scale-invariant)，即独立于测量尺度） ；由标准化数据和中心化数据(
5、即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。缺点：夸大了变化微小的变量的作用。受协方差矩阵不稳定的影响，马氏距离并不总是能顺利计算出。3、当变量 X1 和 X2 方向上的变差相等，且与互相独立时，采用欧氏距离与统计距离是否一致？统计距离区别于欧式距离，此距离要依赖样本的方差和协方差，能够体现各变量在变差大小上的不同，以及优势存在的相关性，还要求距离与各变量所用的单位无关。如果各变量之间相互独立,即观测变量的协方差矩阵是对角矩阵, 则马氏距离就退化为用各个观测指标的标准差的倒数作为权数的加权欧氏距离。第 2 章均值向量和协方差阵的检验3、多元均
6、值检验,从题意知道，容量为 9 的样本 ，总体协方差未知 假设 H0： ， H1： (n=9 p=5)00检验统计量 /(n-1)服从 P，n-1 的 分布)()(0102XSnT 2T统计量 实际上是样本均值与已知总体均值之间的马氏距离再乘以 n*（n-1）,这个值越大，相等的可能性越小，备择假设成立时， 有变大的趋势，所以拒2绝域选择 值较大的右侧部分，也可以转变为 F 统计量2零假设的拒绝区域 （n-p）/(n-1)*p* 2T,()pn1/10* F5,4(5)2T0=（ 6212.01 32.87 2972 9.5 15.78） 样本均值（4208.78 35.12 1965.89
7、12.21 27.79） （样本均值-0） =(-2003.23 2.25 -1006.11 2.71 12.01)协方差矩阵(降维因子分析抽取)Inter-Item Covariance Matrix人均GDP(元） 三产比重（% ） 人均消费(元） 人口增长(%) 文盲半文盲（%)人均GDP(元） 1020190.840 582.460 331693.531 -599.784 -6356.325三产比重（%） 582.460 19.480 -105.464 6.625 43.697人均消费(元） 331693.531 -105.464 125364.321 -213.634 -3130.0
8、38人口增长(%) -599.784 6.625 -213.634 6.099 25.410文盲半文盲（%) -6356.325 43.697 -3130.038 25.410 196.884协方差的逆矩阵1.88034E-05 -0.000440368 -6.09781E-05 0.00279921 -0.000625893-0.00044037 0.207023949 -0.000210374 -0.0237044 -0.06044981-6.0978E-05 -0.000210374 0.00022733 -0.0105019 0.0030474740.002799208 -0.0237
9、04352 -0.010501881 0.85288927 -0.18139981-0.00062589 -0.06044981 0.003047474 -0.1813998 0.070148804计算： 边远及少数民族聚居区社会经济发展水平的指标数据.xls=9* (-2003.23 2.25 -1006.11 2.71 12.01)*s-1* (-2003.23 2.25 2T-1006.11 2.71 12.01)=9*50.11793817=451,06144353F 统计量=45.26.2 拒绝零假设，边缘及少数民族聚居区的社会经济发展水平与全国平均水平有显著差异。第 3 章聚类分析
10、1.聚类分析的基本思想和功能是什么？研究的样品或指标之间存着程度不同的相似性，于是根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间的相似程度的统计量，以这些统计量作为划分类型的依据，把一些相似程度较大的样品聚合为一类，把另外一些彼此之间相似程度较大的样品又聚合为另外一类，直到把所有的样品聚合完毕，形成一个有小到大的分类系统，最后再把整个分类系统画成一张分群图，用它把所有样品间的亲疏关系表示出来。作用是把相似的研究对象归类。2.试述系统聚类法的原理和具体步骤。首先将 n 个样品看成 n 类（一类包含一个样品),然后将性质最接近的两类合并成一个新类，得到 n-1 类，再从中找出最接近
11、的两类加以合并变成 n-2 类，如此下去，最后所有的样品均在一类，将上述并类过程画成一张图便可决定分多少类，每类各有哪些样品。3.试述 K-均值聚类的方法原理K-均值法是一种非谱系聚类法，把每个样品聚集到其最近形心（均值）类中，它是把样品聚集成 K 个类的集合，类的个数 k 可以预先给定或者在聚类过程中确定，该方法应用于比系统聚类法大得多的数据组。把样品分为 K 个初始类，进行修改，逐个分派样品到期最近均值的类中（通常采用标准化数据或非标准化数据计算欧氏距离）重新计算接受新样品的类和失去样品的类的形心。重复这一步直到各类无元素进出。第四章 判别分析1.应用判别分析应该具备什么样的条件被解释变量
12、是属性变量而解释变量是度量变量，判别分析最基本的要求是，分组类型在两组以上，每组案例的规模必须至少在一个以上，解释变量必须是可测量的，才能够计算其平均值和方差，使其能合理地应用于统计函数。假设之一是：每一个判别变量（解释变量）不能是其他判别变量的线性组合。这时，为其他变量线性组合的判别变量不能提供新的信息，更重要的是在这种情况下无法估计判别函数。不仅如此，有时一个判别变量与另外的判别变量高度相关，或与另外的判别变量的线性组合高度相关，虽然能求解，但是参数估计的标准误差很大，以至于参数估计统计上不显著，这就是常说的，多重共线性问题。假设之二：各组变量的协方差矩阵相等，判别分析最简单和最常用的的形
13、式是采用现行判别函数，他们是判别变量的简单线性组合，在各组协方差矩阵相等的假设条件下，可以使用很简单的公式来计算判别函数和进行显著性检验。假设之三：各判别变量之间具有多元正态分布，即每个变量对于所有其他变量的固定值有正态分布，在这种条件下可以精确计算显著性检验值和分组归属的概率，党委被该假设时，计算的概率将非常不准确。2.试述贝叶斯判别法的思路贝叶斯判别法的思路是先假定对研究的对象已有一定的认识，常用先验概率分布来描述这种认识，然后我们取得一个样本，用样本来修正已有的认识，（先验概率分布） ，得到后验概率分布，各种统计推断都通过后验概率分布来进行。将贝叶斯判别方法用于判别分析得到贝叶斯判别。（
14、1）最大后验概率准则设有总体 (i=1,2,k)，具有概率密度函数 fi(X)，并且知道根据以往的统计分i析，知道 出现的概率为 Pi。当样本 发生时，求属于某类的概率，由贝叶斯i 0x公式计算后验概率P（ ） =Pi* fi(X)/ Pi* fi(X),i=1,2,ki0x最大后验概率准则采用的判别规则是： Xi1,()()maxllikxpp（2）最小误判代价准则设有 K 个总体 分别具有 p 维密度函数， ，已知12,.k12(),.,()k出现这 k 个总体的先验概率分布为 12,.kq用 表示样本 的一个划分， 互不相交，且 ，12,.kDpR12,.kD1kpiDR如果这个划分取得
15、适当，正好对应于 k 个总体，这时判别规则可以采用如下方法用 表示来自样本 而被误判为 的损失，这一误判,123.iikx落 入 ()cjiij的概率为 由以上判别规则带来的平均损失 ECM()Djipjxd定义 ，目的是求 ，121,.()kijECMqcipj()0ci12,.kD使得 ECM 最小3.试述费歇判别法的思想将 k 组 P 维数据投影到某一方向，使得它们的投影组与组之间尽可能地分开。K 个总体分别取得 k 组 P 维观察值(1)()()()1:,.:,.xnkknG12.kn令 a 为 中的任一向量， 为 x 向以 a 为法线方向的投影，这时，上pR(1)nuxa述数据的投影
16、为 (1)(1)()()1:,.:a,.xnkknG组间平方和 为第 i 组均值 为总 ()()1iiiSaXXaB()i X体均值向量组内平方和 ()(i)()()1 kiiijjijEEa如果 K 组均值有显著差异，则应该充分地大 ，或者 应充分大/()SGknaBF ()Ba的极大值为 ，它是 的最大特征根， 为相应的特征向(.)10E12,.rll量，当 时，可使 达到最大值，由于 的大小可以衡量 判别al(.)() ()uxa的效果，所以称 为判别效率。得到以下定理：费歇准则下的线性判别函数 的解 a 为方程()ux的最大特征根 所对应的特征向量 ，且相应的判别效率为0BE11l。1
17、()l4.什么是逐步判别分析如果在某个判别问题中，将起最重要的变量忽略了，相应的判别函数的效果一定不好。而另一方面，如果判别变量的个数太多，计算量必然大，会影响估计的精度，特别当引入了一些判别能力不强的变量时，还会严重影响到判别的效果。变量的选择关系到判别函数的效果，适当筛选变量是一个很重要的问题。凡是具有筛选变量能力的判别方法统称为逐步判别法。（1）在 中选出一个自变量，它使维尔克斯统计量 达到最12,.mx (1,2.)im小，假定挑选的变量次序按照自然的次序，第一步选中 ，第 r 步选中 ，1xrx，考察 是否落入接受域，如果不显著则表明一个变量也不选1inim1中， ，不能用判别分析，
18、如显著则进入下一步。(2)在未选中的变量中，计算它们与已选中变量 配合的 值，选择使1x最小的作为第二个变量，依此，如选中 r 个变量，设 ，12iiim 12,.rx计算 ，使其最小的为第 个变量，检验第 个变量能否提,.()rlr供附加信息，如果能则进入第四部，不能进入第三步。（3）在已选入的 r 个变量中，要考虑较早选中的变量中重要性有没有较大的变化，应及时把不能提供附加信息的变量剔除出去，剔除的原则等同于引进的原则。例如在已进入的 r 个变量中要考察 是否应剔除，就是计算(1)lxr选择达到极小(大)的，看是否显著，如不显著将该变量剔除，回到第1,.,.llr三步，继续对于下的变量进行
19、考察是否需要剔除，如果显著则回到第二步。（4）这时既不能选进新变量，又不能剔除已选进的变量，将已选中的变量简历判别函数。5.简要叙述判别分析的步骤及流程（1）研究问题：选择对象，评估一个多元问题各组的差异，将观测(个体)归类，确定组与组之间的判别函数（2）设计要点：选择解释变量，样本的考虑，建立分析样本的保留样本(3)假定：解释变量的整体性，线性关系，解释变量间不存在多重共线性，协方差相等（4）估计判别函数：联立估计或者逐步估计，判别函数的显著性（5）使用分类矩阵评估预测的精度：确定最优临界得分，确定准则来评估判对比率，预测精确的统计显著性（6）判别函数的解释，需要多个函数，评价单个函数主要从
20、判别权重、判别载荷、偏 F 值几个方面， （评价两个以上的判别函数也需要，并且还要评价合并的函数，函数的旋转、能力指数，各组重心的图示、判别载荷的图示， ）（7）判别结果的验证：分开样本或者交叉验证，刻画组间的差异。6.为研究某地区人口死亡状况，已按某种方法将 15 个一直样品分为三类，指标及原始数据见下表，试建立判别函数，并判定另外四个带判样品属于哪类Analysis Case Processing SummaryUnweighted Cases N PercentValid 15 78.9Missing or out-of-range group codes 0 .0At least on
21、e missing discriminating variable 0 .0Both missing or out-of-range group codes and at least one missing discriminating variable4 21.1ExcludedTotal 4 21.1Total 19 100.0Group StatisticsValid N (listwise)y Mean Std. Deviation Unweighted WeightedX1 38.7420 6.88434 5 5.000X2 11.9000 6.78528 5 5.000X3 1.5
22、000 .75931 5 5.000X4 12.2460 6.97585 5 5.000X5 100.0580 7.47740 5 5.0001X6 67.4600 2.69685 5 5.000X1 39.5364 8.37206 5 5.000X2 11.4960 8.44911 5 5.000X3 2.9380 2.12530 5 5.000X4 27.8300 6.11971 5 5.000X5 151.2240 17.62219 5 5.0002X6 66.0500 1.90722 5 5.000X1 38.5000 10.56801 5 5.000X2 10.1180 9.8193
23、0 5 5.000X3 .6840 .90790 5 5.000X4 10.3320 9.67360 5 5.000X5 93.9460 12.25276 5 5.0003X6 67.4200 3.05074 5 5.000X1 38.9261 8.10473 15 15.000X2 11.1713 7.85636 15 15.000TotalX3 1.7073 1.61897 15 15.000X4 16.8027 10.82306 15 15.000X5 115.0760 29.22793 15 15.000X6 66.9767 2.49735 15 15.000Tests of Equa
24、lity of Group MeansWilks Lambda F df1 df2 Sig.X1 .997 .019 2 12 .981X2 .990 .061 2 12 .941X3 .645 3.301 2 12 .072X4 .438 7.690 2 12 .007X5 .173 28.728 2 12 .000X6 .926 .478 2 12 .631对各组均值是否相等的检验，在 0.01 的显著性水平上，X4 、 X5 在三组的均值有显著差异反映协方差矩阵的秩和行列式的对数值， 后者对各种体协方差阵是否相等的统计检验，由 F 值及其显著水平，我们在 0.05 的显著性水平下接受原假
25、设（原假设假定各总体协方差阵相等）EigenvaluesFunction Eigenvalue % of Variance Cumulative %Canonical Correlation1 60.267a 98.9 98.9 .9922 .678a 1.1 100.0 .636a. First 2 canonical discriminant functions were used in the analysis.第一判别函数解释了 98.9%的方差，第二判别函数解释了 1.1%的方差Wilks LambdaTest of Function(s) Wilks Lambda Chi-squa
26、re df Sig.1 through 2 .010 44.014 12 .0002 .596 4.919 5 .426第一判别函数在0.05的显著性水平上是显著的标准化的判别函数Standardized Canonical Discriminant Function CoefficientsFunction1 2X1 -17.048 -7.685X2 14.710 9.793X3 -1.301 -.513X4 6.403 -.566X5 1.344 .657X6 4.311 1.813Canonical Discriminant Function CoefficientsFunction1
27、2X1 -1.951 -.879X2 1.742 1.160X3 -.927 -.366X4 .827 -.073X5 .102 .050X6 1.661 .698(Constant) -78.860 -29.413Unstandardized coefficients非标准化的判别函数Y1=-78.860+-1.951 X1+1.742 X2+-0.927 X3+0.827 X4+0.102 X5+1.661 X6根据这个判别函数计算每个观测的判别 Z 得分后者是判别函数在各组的重心 各组的先验概率Functions at Group CentroidsFunctiony 1 21 -2.6
28、85 1.0022 9.523 -.2543 -6.838 -.748Unstandardized canonical discriminant functions evaluated at group meansPrior Probabilities for GroupsCases Used in Analysisy Prior Unweighted Weighted1 .333 5 5.0002 .333 5 5.000Classification Function Coefficientsy1 2 3X1 -158.299 -181.006 -148.660X2 166.206 186.
29、018 156.942X3 -97.779 -108.631 -93.291X4 59.026 69.217 55.718X5 11.522 12.710 11.009X6 201.552 220.946 193.435(Constant) -5586.484 -6553.476 -5227.094Fishers linear discriminant functions每组的费歇线性判别函数Y=1 这组F1= -5586.484+-158.299 X1+166.206 X2+-97.779 X3+59.026 X4+11.522 X5+201.552 X6Y=2 这组F2=-6553.476
30、+-181.006 X1+186.018 X2+-108.631 X3+69.217 X4+12.710+ X5220.946 X6Y=3 这组F3=-5227.094 +-148.660X1+156.942 X2+-93.291 X3+55.718 X4+11.009 X5+193.435 X6将观测分到较大的函数值中带判样品 f1 f2 f3 分别如下3902.361 3612.117 3997.6615563.003 5478.957 5556.3037015.192 7149.351 6931.5745013.921 4877.544 5030.7341 号待判 判为第三组2 号待判 判为第一组3 号待判 判为第二组4 号待判 判为第三组Classification Resultsa,cPredicted Group Membershipy 1 2 3 Total1 5 0 0 52 0 5 0 5Original Count3 0 0 5 53 .333 5 5.000Total 1.000 15 15.000
