1、第四章 判别分析4.1 简述欧几里得距离与马氏距离的区别和联系。答： 设 p 维欧几里得空间 中的两点 X= 和 Y=。则欧几里得距离为。欧几里得距离的局限有在多元数据分析中，其度量不合理。会受到实际问题中量纲的影响。设 X,Y 是来自均值向量为 ，协方差为的总体 G 中的 p 维样本。则马氏距离为D(X,Y)=。当即单位阵时，D(X,Y)= 即欧几里得距离。因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。4.2 试述判别分析的实质。答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区
2、别开来。设 R1，R2，Rk 是 p 维空间 R p 的 k 个子集，如果它们互不相交，且它们的和集为 ，则称 为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对 p 维空间 构造一个“划分” ，这个“划分”就构成了一个判别规则。4.3 简述距离判别法的基本思想和方法。答：距离判别问题分为两个总体的距离判别问题和多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离） ，将距离近的判别为一类。两个总体的距离判别问题设有协方差矩阵 相等的两个总体 G1和 G2，其均值分别是 1和 2，对于一个新的样品X，要判断它来自哪个总体。计算新样品 X 到两个总体的马氏距离
3、D2（ X， G1）和D2（ X， G2） ，则X ， D2（X ， G1） D2（X，G 2）X ， D2（X ， G1） D2（X，G 2，具体分析， 221(,)(,)DG11221 112212112)()() X21122()()()()记 WX 则判别规则为 X ，W(X)X ，W(X)0多个总体的判别问题。设有 个总体 ，其均值和协方差矩阵分别是 k,21 和 ，kkG,21 k,21且 。计算样本到每个总体的马氏距离，到哪个总体的距离最小就21属于哪个总体。具体分析， 21(,)()()DXX1()CI取 ， ， 。I112 k,2可以取线性判别函数为 ()WXI， ,相应的判
4、别规则为 iG 若 1()max()ikWCXI4.4 简述贝叶斯判别法的基本思想和方法。基本思想：设 k 个总体 k,21 ，其各自的分布密度函数 ，假设)(,)(,21xxkffk 个总体各自出现的概率分别为 ， ， 。设将本来属于 总体的kq,21 0i1kiqiG样品错判到总体 时造成的损失为 ， ji,2, 。jG)|(jC设 个总体 k,21 相应的 维样本空间为 。kp),(1kR在规则 下，将属于 i的样品错判为 的概率为RjGxdfRjPji)(),|(jikji,2,则这种判别规则下样品错判后所造成的平均损失为kj RijPCRir1),|()|)|( ki,21则用规则
5、来进行判别所造成的总平均损失为 kirqRg1),()(kij RijPC1),|()|贝叶斯判别法则，就是要选择一种划分 k,21 ，使总平均损失 达到极小。)(Rg基本方法： kij ijqRg1),|()|)(xdfCkijRij1)(|(kjRiij fjq1)(|(令 1(|)()kiijCjfhx，则 kjRjdhg1)()(x若有另一划分 ，),(*2*1kR kjRj1*)()(则在两种划分下的总平均损失之差为kijRjiji dhgR1*)()( x因为在 上 对一切 成立，故上式小于或等于零，是贝叶斯判别的解。i )(xjih从而得到的划分 为 1|()min()iijkh
6、xx),21k ki,214.5 简述费希尔判别法的基本思想和方法。答：基本思想：从 个总体中抽取具有 个指标的样品观测数据，借助方差分析的思想构kp造一个线性判别函数 12()pUuXuX系数 可使得总体之间区别最大，而使每个总体内部的离差最小。将新),(21pu样品的 个指标值代入线性判别函数式中求出 ()UX值，然后根据判别一定的规则，就可p以判别新的样品属于哪个总体。4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。答： 费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。 当
7、k=2 时，若 则费希尔判别与距离判别等价。当判别变量服从正态分布时，二者与贝叶斯判别也等价。 当 时，费希尔判别用 作为共同协差阵，实际看成等协差阵，此与距离判别、贝叶斯判别不同。 距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规则是 X ，W(X)X ，W(X)lnd距离判别的判别规则是X ，W(X)X ，W(X)0二者的区别在于阈值点。当 ， 时， ， 。二者完全21q)1|2()|(Cd0ln相同。4.7 设有两个二元总体 和 ，从中分别抽取样本计算得到 ,假设 ，试用距离判别法建立判别函数和判别规则。 样品X=（6，0） 应属于哪个总体？解： = ， = ， = =即样品 X
8、 属于总体4.8 某超市经销十种品牌的饮料，其中有四种畅销，三种滞销，三种平销。下表是这十种品牌饮料的销售价格（元）和顾客对各种饮料的口味评分、信任度评分的平均数。销售情况 产品序号 销售价格 口味评分 信任度评分1 2.2 5 8畅销2 2.5 6 73 3.0 3 94 3.2 8 65 2.8 7 66 3.5 8 7平销7 4.8 9 88 1.7 3 49 2.2 4 2滞销10 2.7 4 3 根据数据建立贝叶斯判别函数，并根据此判别函数对原样本进行回判。 现有一新品牌的饮料在该超市试销，其销售价格为 3.0，顾客对其口味的评分平均为 8，信任评分平均为 5，试预测该饮料的销售情况
9、。解：增加 group 变量，令畅销、平销、滞销分别为 group1、2、3 ；销售价格为 X1，口味评分为 X2，信任度评分为 X3，用 spss 解题的步骤如下：1. 在 SPSS 窗口中选择 AnalyzeClassify Discriminate ，调出判别分析主界面，将左边的变量列表中的“group”变量选入分组变量中，将 X1、X 2、X 3 变量选入自变量中，并选择 Enter independents together 单选按钮，即使用所有自变量进行判别分析。2. 点击 Define Range 按钮，定义分组变量的取值范围。本例中分类变量的范围为 1 到 3，所以在最小值和最
10、大值中分别输入 1 和 3。单击 Continue 按钮，返回主界面。如图 4.1图 4.1 判别分析主界面3. 单击 Statistics按钮，指定输出的描述统计量和判别函数系数。选中 Function Coefficients 栏中的 Fishers：给出 Bayes 判别函数的系数。 （注意：这个选项不是要给出 Fisher 判别函数的系数。这个复选框的名字之所以为 Fishers，是因为按判别函数值最大的一组进行归类这种思想是由 Fisher 提出来的。这里极易混淆，请读者注意辨别。 ）如图 4.2。单击 Continue 按钮，返回主界面。图 4.2 statistics 子对话框4
11、. 单击 Classify按钮，弹出 classification 子对话框，选中 Display 选项栏中的Summary table 复选框，即要求输出错判矩阵，以便实现题中对原样本进行回判的要求。如图 4.3。 图 4.3 classification 对话框5. 返回判别分析主界面，单击 OK 按钮，运行判别分析过程。1) 根据判别分析的结果建立 Bayes 判别函数：Bayes 判别函数的系数见表 4.1。表中每一列表示样本判入相应类的 Bayes 判别函数系数。由此可建立判别函数如下：Group1： 3761.29.168.43.1XXYGroup2： 08370592Group3
12、： 442将各样品的自变量值代入上述三个 Bayes 判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。Classification Function Coefficientsgroup1 2 3x1 -11.689 -10.707 -2.194x2 12.297 13.361 4.960x3 16.761 17.086 6.447(Constant) -81.843 -94.536 -17.449Fishers linear discriminant functions表4.1 Bayes判别函数系数根据此判别函数对样本进行回判，结果如表4.2。从中可以
13、看出在4种畅销饮料中，有3种被正确地判定，有1种被错误地判定为平销饮料，正确率为75%。在3种平销饮料中，有2种被正确判定，有1种被错误地判定为畅销饮料，正确率为66.7%。3种滞销饮料均正确判定。整体的正确率为80.0%。Classification ResultsaPredicted Group Membershipgroup 1 2 3 Total1 3 1 0 42 1 2 0 3Count3 0 0 3 3Original% 1 75.0 25.0 .0 100.02 33.3 66.7 .0 100.03 .0 .0 100.0 100.0a. 80.0% of original
14、grouped cases correctly classified.表4.2 错判矩阵2) 该新饮料的 ， ， ，将这3个自变量代入上一小题得到的 Bayes0.1X825X判别函数， 的值最大，该饮料预计平销。也可通过在原样本中增加这一新样本，Y重复上述的判别过程，并在classification子对话框中同时要求输出casewise results，运行判别过程，得到相同的结果。4.9 银行的贷款部门需要判别每个客户的信用好坏（是否未履行还贷责任） ，以决定是否给予贷款。可以根据贷款申请人的年龄（ 1X） 、受教育程度（ 2X） 、现在所从事工作的年数（ 3X） 、未变更住址的年数（ 4
15、） 、收入（ 5） 、负债收入比例（ 6） 、信用卡债务（7） 、其它债务（ 8）等来判断其信用情况。下表是从某银行的客户资料中抽取的部分数据，根据样本资料分别用距离判别法、Bayes 判别法和 Fisher 判别法建立判别函数和判别规则。某客户的如上情况资料为（53，1，9 ，18 ，50 ，11.20 ，2.02，3.58） ，对其进行信用好坏的判别。目前信用好坏客户序号 1X234X567X81 23 1 7 2 31 6.60 0.34 1.712 34 1 17 3 59 8.00 1.81 2.913 42 2 7 23 41 4.60 0.94 .944 39 1 19 5 48
16、 13.10 1.93 4.36已履行还贷责任5 35 1 9 1 34 5.00 0.40 1.306 37 1 1 3 24 15.10 1.80 1.827 29 1 13 1 42 7.40 1.46 1.658 32 2 11 6 75 23.30 7.76 9.729 28 2 2 3 23 6.40 0.19 1.29未履行还贷责任10 26 1 4 3 27 10.50 2.47 .36解：令已履行还贷责任为 group0，未履行还贷责任为 group1。令（53 ，1，9，18，50，11.20 ，2.02，3.58）客户序号为 11，group 未知。用 spss 解题步骤
17、如下：1. 在 SPSS 窗口中选择 AnalyzeClassify Discriminate，调出判别分析主界面，将左边的变量列表中的“group”变量选入分组变量中，将 变量选入自变量中，61X并选择 Enter independents together 单选按钮，即使用所有自变量进行判别分析。2. 点击 Define Range 按钮，定义分组变量的取值范围。本例中分类变量的范围为 0到 1，所以在最小值和最大值中分别输入 0 和 1。单击 Continue 按钮，返回主界面。3. 单击 Statistics按钮，指定输出的描述统计量和判别函数系数。选中 Function Coeffi
18、cients 栏中的 Fishers 和 Unstandardized。单击 Continue 按钮，返回主界面。4. 单击 Classify按钮，定义判别分组参数和选择输出结果。选择 Display 栏中的Casewise results，以输出一个判别结果表。其余的均保留系统默认选项。单击Continue 按钮。5. 返回判别分析主界面，单击 OK 按钮，运行判别分析过程。1) 用费希尔判别法建立判别函数和判别规则：未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分，所以该系数使用起来比标准化的系数要方便一些。具体见表 4.3 。表 4.3 未标准化的典型判别函数系数
19、由此表可知， Fisher 判别函数为： 83.279.0671.5024.357.1.02687.13.0794 XXXXY 用 计算出各观测值的具体坐标位置后，再比较它们与各类重心的距离，就可以得知分类，如若与 group0 的重心距离较近则属于 group0，反之亦然。各类重心在空间中的坐标位置如表 4.4 所示。表 4.4 各类重心处的费希尔判别函数值 用 bayes 判别法建立判别函数与判别规则，由于此题中假设各类出现的先验概率相等且误判造成的损失也相等，所以距离判别法与 bayes 判别完全一致。如表 4.5 所示，group 栏中的每一列表示样品判入相应列的 Bayes 判别函数系数。由此可得，各类的 Bayes 判别函数如下： 8504.379.16723.59.43.0.127.9430.6180 XXXXG 68068627
