1、 判别分析判别分析问题：在自然科学与社会科学的众多领域中，研究对象往往用某种方式已经分为若干类型，当得到一个新的样品，要确定该样品属于已知的类型中的那一类，这类问题属于判别分析。判别分析模型：从统计数据分析的角度，判别分析的模型如下：设有 个总体k，它们都是 维总体，其数量指标 在各个总体下具有不12,kG p1,TpX同的分布特征。对某一个新的样品数据 ，要根据各总体的特征按一定12,Tpxx的准则判断该样品应归属那一个总体。一.距离判别1.马氏（Mahalanobis）距离设 维总体 ，其数量指标 的均值向量为pG1,TpX，协方差矩阵为 ，其中1,TpEX ijpVarX,2ii ov,
2、12,ijijC（1）设 和 是来自总体 的两个样品（即样本值） ，12,Tpxx 12,Tpyy G则 与 的马氏距离定义为y1,Tdx而称 21,Txyy为 与 的马氏平方距离。（2）样品 与总体 的马氏距离定义为12,Tp G1,dxGx而称 21,T为 与总体 的马氏平方距离。x上述定义的马氏距离满足距离的三条基本性质：设 ， ， 是来自总体 的三个样xyzG品，则(1) ,当且仅当 时 ；,0dyxy,0d（2） ；x（3） ,dxyzdy2. 两个总体的判别设 为两个不同的 维已知总体，其均值向量分别为 和 ，协方差矩阵分别12,Gp12为 和 ，设 为一个待判样品，要判别 属于哪
3、个总体。0xx判别准则：（1.1）1122,dGxGx一等价于准则：（1.2）2211,dxxG一若令 221,Wd则上述判别准则有等价于（1.3）12,0xxG一其中 称为判别函数。判别准则（1.3）实质上是利用判别函数 可以得到空间 Wx的一个划分：pR，1:0DxW2:0Dx则准则（1.3）又等价于（1.4）1122,Gx一下面分别就两总体的协方差矩阵相等和不等分别讨论（1）若 ，1212此时，由于 22112111121122,TTTTTdxGxxx 记（1.5）111122222,其 中其 中T TWxabab则 22121,dxGWx或者从另一个角度看，有（1.5）22111122
4、,TTTTx记，其中 ， （1.6） TWxa1212a则 221,dGxWx这样，距离判别准则（1.3）化为（1.7）122,若若xx其中 ， 如（1.5）式所示。或者1W2（1.8）12,0xGx一其中 如（1.6）式所示。上述判别函数 ， 及 都是线性函数，因此（1.7）和（1.8）也称为线1x2Wx性判别准则。在实际中， ， ， 通常是未知的，我们所具有的资料只是从两个总体各抽取了12容量为 和 的样本，1n2和 ，11,nx 22,nx称为训练样本，这时可用训练样本对 ， ， 做估计。 ， 的估计分别取各训练112样本的样本均值，即1,2jnjj ijx又个训练样本的样本协方差阵为
5、1 ,12jn Tjjjjj iiijSx当 时， 的估计取为1212nS当训练样本是简单随机样本时， ， ， 分别是 ， ， 的无偏估计。这样，线1212性判别函数 ， 及 的估计可取为1Wx2x（1.9） 11112222211 , , ,其 中其 中其 中T TTababxaa这样两个总体的距离判别准则为（1.10）122,若若xGWx或（1.11）12,0若若xx其中 ， 及 如（1.9）式所示。1（2）若 ，212此时，判别函数 211 12,TTWxdGxx是二次函数。在实际中， ， ， ， 未知时，可用个总体的训练样本对它们做估计12121,jnjj ijx1 ,12jn Tjj
6、jjjj iiijSxx二次判别函数 的估计可取为 2211TW（1.12）1Txxx判别准则为（1.13）12,0若若Gxx其中 如（1.12）式所示。W3.多个总体的距离判别设有 个 维总体 ，其均值向量分别为 ，协方差矩阵分kp12,kG 12,k别为 ， 为一个待判样品，要判别 属于这 个总体的哪个。类120,0k xx似于两个总体情况，计算样品 到个总体的马斯距离，比较着 个距离，判 属于其距离x最短的总体。下面就各 相等和不等讨论1,j（1）若 2k 此时， 22 1, 2TijjiijdxGx可令判别函数为（1.14）12TijijijWx是线性函数，则 到 的距离最小等价于对所
7、有 ，有 ，从而判别准则为xiGji0ijWx， （1.15）i0ijjx一若令， (1.16):0,iijDxWji1,2k则 是 的一个划分。准则（1.15）实质上等价于12,k pR， ， （1.17）iGiD一,当 ， 未知时，设 是来自总体 的训练样本（12,k 12,jjjnx jG）j令 1,2,jnjj ijxk1 ,12,jn Tjjjjj iiijSxk21 kSnS判别函数的估计为 12TijijijWxx判别准则为， iG0若 一 切 有 ijj（2）若 不全相同1,2j k取判别函数为（1.11）221 1,ij jiTTjjjiiiWxdxx是二次函数。由 得 的一
8、个划分ijpR， （1.12）12,kD其中 :0,12,iijxWjik判别规则为：， ， （1.13）iGiD一,如果 使得 ，则判 属于x12 01rijij ijxk x的任何一个，即在边界上的点可判断为相邻区域的任何一个。12,rjj当 ， 未知时，设 是来自总体 的训练,k 12,k 12,jjjnx jG样本（ ） ，令1,2jk 1,2,jnjj ijxk1 ,12,jn Tjjjjjj iiijSxk二. Bayes 判别1. Bayes 判别的基本思想设有 个 维总体： kp1G2 kG其 元概率密度分别为： fxf fx其出现的先验概率分布为： 1q2 kq（ ） （2.
9、1）10,ki iq用 表示将实际属于 的样品判为 所造成的损失度量（一般为非负） ，|CjiiGj（即没有损失） 。|0对一个判别准则 ，以 表示在判别准则 之下，将12,kD |,PjiD实际来自于 的样品判为来自 的概率，则iGj， （2.2）|,jiDPjfxd1,2j在给定误判所造成的损失 （ ）下，则对固定的 而言，在给|Ci,jik iG定的判别准则 下将来自 的样品错判为其它总体的平均损失（即期12,k iG望损失）为（注： ） 1 1|,|,|kij jilDPiPiDCji|0i（2.3）由于各总体 出现的先验概率为 （ ） ，故在判别准则iGiq,2k下，总平均损失（即总
10、期望损失）为12,k（2.4）11|,kki iijLDqlqCjPjiD所谓 Bayes 判别准则就是要选择判别准则 使 达到最小。12,k L2. Bayes 判别准则令，1|kjihxqfxCji1,2jk，:minii jkDh,iBayes 判别准则为：，若 ， （2.5）ixGi1,2当 （常数） （ ）时，此时可设|Cjc,jk（2.6）,|0jiji在这种情况下，令1|iikjqfxPG（2.7），1 1:|max|:maxii j i jjk jkDxxqfqf 1,2ikBayes 判别准则为：，若 ， （2.8）iGiD1,2k三.例子例 1： 费希尔（Fisher）于
11、1936 年发表了关于鸢尾花 (Iris)的数据。数据是对 3 种不同的鸢尾花：刚毛鸢尾花（第 1 组） 、变色鸢尾花（第 2 组）和费吉尼亚鸢尾花（第 3 组）各抽取一个容量为 50 的样本，测量其花萼长 x1,花萼宽 x2，花瓣长 x3，花瓣宽 x4，单位为mm，数据如下表所示，假定三个品种的 4 个指标均服从 4 维正态分布，且先验概率相等，试就协方差阵相等和不等建立 Bayes 判别准则编号 品种 x1 x2 x3 x4 编号 品种 x1 x2 x3 x4 编号 品种 x1 x2 x3 x41 1 50 33 14 22 1 46 34 14 33 1 46 36 10 24 1 51
12、 33 17 55 1 55 35 13 26 1 48 31 16 251 2 65 28 46 1552 2 62 22 45 1553 2 59 32 48 18 54 2 61 30 46 1455 2 60 27 51 1656 2 56 25 39 11101 3 64 28 56 22102 3 67 31 56 24103 3 63 28 51 15104 3 69 31 51 23105 3 65 30 52 20106 3 65 30 55 187 1 52 34 14 28 1 49 36 14 19 1 44 32 13 210 1 50 35 16 611 1 44
13、30 13 212 1 47 32 16 213 1 48 30 14 314 1 51 38 16 215 1 48 34 19 216 1 50 30 16 217 1 50 32 12 218 1 43 30 11 119 1 58 40 12 220 1 51 38 19 421 1 49 30 14 222 1 51 35 14 223 1 50 34 16 424 1 46 32 14 225 1 57 44 15 426 1 50 36 14 227 1 54 34 15 428 1 52 42 15 129 1 55 42 14 230 1 49 31 15 231 1 54
14、39 17 432 1 50 34 15 233 1 44 29 14 234 1 47 32 13 235 1 46 31 15 236 1 51 34 15 237 1 50 35 13 338 1 49 31 15 139 1 54 37 15 240 1 54 39 13 441 1 51 35 14 342 1 48 34 16 243 1 48 30 14 144 1 45 23 13 345 1 57 38 17 346 1 51 38 15 347 1 54 34 17 248 1 51 37 15 449 1 52 35 15 250 1 53 37 15 257 2 57
15、28 45 1358 2 63 33 47 1659 2 70 32 47 1460 2 64 32 45 1561 2 61 28 40 1362 2 55 24 38 1163 2 54 30 45 1564 2 58 26 40 1265 2 55 26 44 1266 2 50 23 33 1067 2 67 31 44 1468 2 56 30 45 1569 2 58 27 41 1070 2 60 29 45 1571 2 57 26 35 1072 2 57 19 42 1373 2 49 24 33 1074 2 56 27 42 1375 2 57 30 42 1276 2
16、 66 29 46 1377 2 52 27 39 1478 2 60 34 45 1679 2 50 20 35 1080 2 55 24 37 1081 2 58 27 39 1282 2 62 29 43 1383 2 59 30 42 1584 2 60 22 40 1085 2 67 31 47 1586 2 63 23 44 1387 2 56 30 41 1388 2 63 25 49 1589 2 61 28 47 1290 2 64 29 43 1391 2 51 25 30 1192 2 57 28 41 1393 2 61 29 47 1494 2 56 29 36 13
17、95 2 69 31 49 1596 2 55 25 40 1397 2 55 23 40 1398 2 66 30 44 1488 2 68 28 48 14100 2 67 30 50 17107 3 58 27 51 19108 3 68 32 59 23109 3 62 34 54 23110 3 77 38 67 22111 3 67 33 57 25112 3 76 30 66 21113 3 49 25 45 17114 3 67 30 52 23115 3 59 30 51 18116 3 63 25 50 19117 3 64 32 53 23118 3 79 38 64 2
18、0119 3 67 33 57 21120 3 77 28 67 20121 3 63 27 49 18122 3 72 32 60 18123 3 61 30 49 18124 3 61 26 56 14125 3 64 28 56 21126 3 62 28 48 18127 3 77 30 61 23128 3 63 34 56 24129 3 58 27 51 19130 3 72 30 58 16131 3 71 30 59 21132 3 64 31 55 18133 3 60 30 48 18134 3 63 29 56 18135 3 77 26 69 23136 3 60 2
19、2 50 15137 3 69 32 57 23138 3 74 28 61 19139 3 56 28 49 20140 3 73 29 63 18141 3 67 25 58 18142 3 65 30 58 22143 3 69 31 54 21144 3 72 36 61 25145 3 65 32 51 20146 3 64 27 53 19147 3 68 30 55 21148 3 57 25 50 20149 3 58 28 51 24150 3 63 33 60 25例 2：2000 年全国大学生数学建模竞赛 A 题 DNA 序列分类2000 年 6 月，人类基因组计划中 D
20、NA 全序列草图完成，预计 2001 年可以完成精确的全序列图，此后人类将拥有一本记录着自身生老病死及遗传进化的全部信息的“天书” 。这本大自然写成的“天书”是由 4 个字符 A，T，C，G 按一定顺序排成的长约 30 亿的序列，其中没有“断句”也没有标点符号，除了这 4 个字符表示 4 种碱基以外，人们对它包含的“内容”知之甚少，难以读懂。破译这部世界上最巨量信息的“天书”是二十一世纪最重要的任务之一。在这个目标中，研究 DNA 全序列具有什么结构，由这 4 个字符排成的看似随机的序列中隐藏着什么规律，又是解读这部天书的基础，是生物信息学（Bioinformatics ）最重要的课题之一。虽
21、然人类对这部“天书”知之甚少，但也发现了 DNA 序列中的一些规律性和结构。例如，在全序列中 有一些是用于编码蛋白质的序列片段，即由这 4 个字符组成的 64 种不同的 3 字符串，其中大多数用于编码构成蛋白质的 20 种氨基酸。又例如，在不用于编码蛋白质的序列片段中，A 和 T 的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA 序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发现让人们相信，DNA 序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解 DNA 全序列是十分有意义的。目前在这项研究中最普通的思想是省略序列的某些细节，
22、突出特征，然后将其表示成适当的数学对象。这种被称为粗粒化和模型化的方法往往有助于研究规律性和结构。 作为研究 DNA 序列的结构的尝试，提出以下对序列集合进行分类的问题： 1）下面有 20 个已知类别的人工制造的序列（见下页） ，其中序列标号 110 为 A 类，11-20 为 B 类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外 20 个未标明类别的人工序列（标号2140）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：A 类_ ；B 类 _ 。请详细描述你的方法，给出计算程序。如果你部分地使用了现
23、成的分类方法，也要将方法名称准确注明。 这 40 个序列也放在如下地址的网页上，用数据文件 Art-model-data 标识，供下载：网易网址： 教育频道 在线试题；教育网： New mcm2000教育网： 2）在同样网址的数据文件 Nat-model-data 中给出了 182 个自然 DNA 序列，它们都较长。用你的分类方法对它们进行分类，像 1）一样地给出分类结果。 提示：衡量分类方法优劣的标准是分类的正确率，构造分类方法有许多途径，例如提取序列的某些特征，给出它们的数学表示：几何空间或向量空间的元素等，然后再选择或构造适合这种数学表示的分类方法；又例如构造概率统计模型，然后用统计方法分类等。Art-model-data1.aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg2.cggaggacaaacgggatggcggtattggaggtggcggactgttcggggaattattcggtttaaacgggacaaggaaggcggctggaac
