1、数据挖掘原理与 SPSS Clementine应用宝典元昌安 主编 邓 松 李文敬 刘海涛 编著电子工业出版社Copyright 2003-12, SPSS Taiwan Corp. 2Copyright 2003-12, SPSS Taiwan Corp. 17.1基于损失函数的标准17.1.1混淆矩阵17.1.2准确率及误差的度量17.1.3两个评价模型成本的可视化工具17.1.4评 估分类器的准确率17.2基于统计检验的准则17.2.1统计模型之间的距离17.2.2统计模型的离差17.3基于记分函数的标准17.4贝叶斯标准17.5计算标准17.5.1交叉验证标准17.5.2自展标准17.
2、5.3遗传算法17.6小结3Copyright 2003-12, SPSS Taiwan Corp. 17.1基于损失函数的标准17.1.1混淆矩阵混淆矩阵（ confusion matrix ）用来作为分类规则特征的表示，它包括了每一类的样本个数，包括正确的和错误的分类。主对角线给出了每一类正确分类的样本的个数，非对角线上的元素则表示未被正确分类的样本个数。 Copyright 2003-12, SPSS Taiwan Corp. 对于 m类的分类问题，误差可能有 m2-m。如果仅有 2类（正样本和负样本，用 T和 F或 1和 0来象征性地代表），就只有两类误差。 期望为 T，但分类为 F：
3、称为假负。 期望为 F，但分类为 T：称为假正。此外 期望为 T，但分类为 T：称为真正。 期望为 F，但分类为 F：称为真负。Copyright 2003-12, SPSS Taiwan Corp. 我们可以把它们汇总在表 17-1正、负样本的混淆矩阵中。实际的类预测的类C1 C2C1 真正 假负C2 假正 真负总计 真正 +假正 假负 +真负表 17-1 正、负样本的混淆矩阵Copyright 2003-12, SPSS Taiwan Corp. 当分类数 m为 3时，对角线给出正确的预测。 如表 17-23个类的混淆矩阵所示。 在本例中，总共是 150个检验样本。 有 6类误差（ m2-
4、m=32-3=6） , 在表中它们以粗体字表示。 可以看到，这个分类器对于属于 B类的 46中的 38个样本给出了正确的分类； 8个样本给出了错误的分类，其中 2个分到了 A类， 6个分到了 C类。 实际的类预测的类 A类 B类 C类 总计A类 45 2 3 50B类 10 38 2 50C类 4 6 40 50总计 59 46 45 150表 17-2 3个类的混淆矩阵Copyright 2003-12, SPSS Taiwan Corp. 17.1.2 准确率及误差的度量为了度量分类器的预测精度，如果明确或隐含地假设每个被错分的数据会产生相同的成本，我们引入误差率和准确率这两个参数作为它的
5、一个性能度量来对其进行评估。 误差率 R是误差数目 E和检验集中的样本数 S的比值：（ 17-1） 分类器的准确率 A是检验集中正确分类数和检验集中样本数 S的比值，它的计算是：（ 17-2）Copyright 2003-12, SPSS Taiwan Corp. 到目前为止，我们所假设的是每个误差同等成本，如果对于不同的错误有不同的成本的话，即使一个模型有低的准确率，它也比一个有高准确率但是成本高的模型更好。 例如，在表 17-23个类的混淆矩阵中如果假定每一个正确分类的成本为 1000元，关于 A类分错的成本是 500元，关于 B类分错的成本是 1000元，关于 C类分错的成本是 2000元，则通过矩阵计算模型成本为（ 1231000）（ 5500）（121000）（ 102000） =88500元。Copyright 2003-12, SPSS Taiwan Corp. 因此当不同类型的误差对应不同的权值时，我们要将每个误差乘以对应的权值因子 cij 如果混淆矩阵中的误差元素为 eij，那么总成本函数 C（替代精度计算中的误差数）可以计算为：(17-3 )Copyright 2003-12, SPSS Taiwan Corp.
