模糊聚类在特征选取中的应用.DOC

1、 基 金 项 目 ： 国 家 自 然 科 学 基 金 项 目 (No.10172043),教 育 部 博 士 点 基 金 资 助 项 目 （ NO.20093218110024） 和 安 徽 省 教 育 厅 自 然科 研 重 点 项 目 （ NO.KJ2010A226)。作者简介: 刘全金(1971.12-),男,博士研究生,副教授,主要研究方向为数据挖掘 ,信息处理; 赵志敏,女,教授,博导; 李颖新,男,博士后。Email:模糊聚类在特征选取中的应用刘全金 1,2, 赵志敏 1, 李颖新 3（1. 南京航空航天大学理学院, 江苏 南京 210016；2. 安庆师范学院物理与电气工程学院，安

2、徽 安庆 246011；3. 北京经纬纺机新技术有限公司机器视觉与智能研究所, 北京 100176）摘 要：提出了一种基于模糊聚类算法的高维特征选取方法。首先，利用 Bhattacharyya 距离过滤样本类别无关的特征；然后，基于递归特征剔除过程，提出了基于模糊 ISODATA 聚类方法，以样本与聚类中心的加权距离作为可分性指标，产生候选特征子集；最后，以候选特征子集分类和聚类的 AUC 值和正确率作为目标函数，确定最佳特征子集。将该方法用于选取 5 个基因表达谱数据集的特征基因，结果显示该方法所选特征具有较好的分类和聚类能力，说明了提出的特征选取方法的有效性。关键词：特征选取; 模糊 IS

3、ODATA; 层次聚类; 支持向量机; K 近邻Application of Fuzzy Clustering Algorithm on feature selectionQuanjin Liu1,2, Zhimin Zhao1 ,Ying-Xin Li3（1. College of Science, Nanjing University of Aeronautics and Astronautics, Nanjing, 210016, China;2. Department of Physics, AnQing Normal College, Anqing, 246011, China; 3

4、. Institute of Machine Vision and Machine Intelligence, Beijing Jingwei Textile Machinery New Technology Co., Ltd., Beijing 100176, China）Abstract: A new feature selection method based on clustering algorithm is proposed to selecting informative features. First, category-unrelated features are kicke

5、d out according to Bhattacharyya distance. Then, based on the process of recursive feature elimination, a weighted distance between sample and the cluster center generated by the fuzzy Interactive Self-Organizing Data Algorithm (ISODATA) is used as the index of feature for separating different class

6、es. Finally, the candidate feature subset with the maximum AUC value and accuracy rate both in classification and clustering tests is selected as the optimal feature subset. The proposed feature subset selection method is applied to 5 gene expression profile datasets and experiment results show that

7、 the selected features have good performance in terms of both classification and clustering measurements. This demonstrates that the proposed method is effective for selecting informative features from high dimensional dataset. Key words: feature selection; fuzzy ISODATA; Hierachical clustering; Sup

8、port vector machine; K- nearest neighbor 文献标识码: A 中图分类号: TP391, Q812 1 引 言 从 高 维 数 据 中 选 出 与 类 别 相 关 的 特 征 是 机 器 学 习 和 模 式 分 类 的 重 要 一 步 ， 特 征 选 取 方 法 的 优 劣 将 影 响 到 分 类 和 聚 类 结果 1,2， 选 取 的 特 征 应 该 同 时 具 有 较 强 的 分 类 和 聚 类 能 力 。 filter 和 wrapper 是 两 种 常 用 的 高 维 数 据 集 的 特 征 选 取 手 段 3。Filter 方 法 利 用 可 分

9、 性 指 标 评 定 特 征 的 重 要 性 ， 选 取 有 效 的 类 别 特 征 ， 但 这 种 可 分 性 指 标 仅 从 单 个 特 征 出 发 ， 没 有 考 虑 特 征2间 的 相 互 关 系 ， 所 以 选 取 的 特 征 并 非 最 优 4,5。 wrapper 方 法 则 围 绕 学 习 算 法 ， 根 据 该 算 法 执 行 情 况 选 取 相 关 的 特 征 ， 这 种方 法 能 够 取 得 比 filter 方 法 更 优 的 结 果 6,7,8， 但 wrapper 方 法 的 计 算 量 大 ， 需 要 较 大 的 时 间 开 销 。 兼 顾 filter 方 法

10、的 计 算 复杂 度 小 和 wrapper 方 法 的 准 确 度 高 的 优 点 ， 结 合 两 种 方 法 选 取 样 本 数 据 的 特 征 ， 已 成 为 高 维 数 据 集 特 征 选 取 研 究 的 重 点1,9,10。 Cai 等 人 基 于 有 条 件 的 互 信 息 方 法 分 析 了 3 个 高 维 数 据 集 ， 提 出 了 一 种 特 征 选 取 标 准 并 以 此 进 行 特 征 选 取 11。 Golub等 人 用 “信 噪 比 ”衡 量 特 征 对 样 本 分 类 贡 献 大 小 ， 结 合 支 持 向 量 机 (Support Vector Machine,

11、SVM)分 类 模 型 ， 分 析 急 性 白 血 病基 因 表 达 谱 数 据 ， 从 7129 个 基 因 中 选 出 了 50 个 AML 和 ALL 亚 型 特 征 基 因 12。 他 们 的 实 验 结 果 表 明 filter 和 wrapper 方法 结 合 的 有 效 性 。还 有 不 少 文 献 研 究 如 何 融 合 分 类 算 法 和 聚 类 算 法 的 优 势 ， 利 用 二 者 的 互 补 性 ， 进 行 特 征 选 取 和 样 本 分 类 研 究 。 Alon 等人 用 层 次 聚 类 等 方 法 对 高 维 数 据 进 行 了 分 析 研 究 ， 并 取 得 了

12、良 好 的 分 类 效 果 13； Guyon 等 人 对 Alon 选 取 的 特 征 做 了 进 一步 研 究 ， 在 特 征 剔 除 过 程 中 基 于 线 性 支 持 向 量 机 （ RFE-SVM） 进 行 了 特 征 选 取 实 验 14。 这 些 研 究 表 明 聚 类 有 助 于 发 现 数 据集 的 结 构 特 点 ， 有 利 于 提 高 分 类 模 型 学 习 的 性 能 。 文 献 15对 聚 类 和 分 类 的 目 标 函 数 进 行 合 并 和 补 充 ， 以 聚 类 时 类 内 数 据 的紧 密 程 度 为 参 数 ， 完 成 最 佳 的 分 类 和 聚 类 。特

13、征 选 取 方 法 多 数 是 基 于 分 类 模 型 进 行 的 ， 选 取 特 征 的 分 类 能 力 较 强 ， 但 聚 类 能 力 相 对 较 弱 。 鉴 于 此 ， 本 文 提 出 了 基于 模 糊 ISODATA 的 特 征 选 取 方 法 （ 简 称 ISODATA-FS） 。 首 先 ， 将 数 据 集 随 机 分 成 训 练 集 、 校 验 集 和 独 立 测 试 集 ， 在 训 练集 中 ， 过 滤 Bhattacharyya 距 离 较 小 的 特 征 ； 然 后 ， 在 特 征 递 归 剔 除 过 程 中 ， 进 行 模 糊 ISODATA 聚 类 ， 分 析 样 本

14、特 征 与 各个 聚 类 中 心 的 距 离 关 系 ， 定 义 隶 属 度 加 权 的 距 离 关 系 作 为 特 征 可 分 性 指 标 ， 以 特 征 可 分 性 指 标 为 标 准 ， 生 成 一 组 嵌 套 的 候 选特 征 子 集 ； 最 后 ， 在 校 验 集 中 测 试 候 选 特 征 子 集 的 分 类 和 聚 类 能 力 ， 用 分 类 和 聚 类 的 AUC (the Area Under ROC Curve)16值 和 正 确 率 构 建 目 标 函 数 ， 从 候 选 特 征 子 集 中 选 取 最 佳 候 选 特 征 子 集 ， 并 用 独 立 测 试 集 验 证

15、最 佳 候 选 特 征 子 集 的 分 类 和 聚类 性 能 。为 考 察 本 文 提 出 的 特 征 选 取 方 法 ISODATA-FS 的 可 靠 性 ， 我 们 在 5 个 基 因 表 达 谱 数 据 集 中 分 别 进 行 20 次 特 征 选 取 实验 ， 每 次 将 原 始 数 据 集 样 本 按 4:1:1 随 机 分 配 至 训 练 集 、 校 验 集 和 独 立 测 试 集 ， 用 训 练 集 和 校 验 集 选 取 特 征 ， 用 独 立 测 试 集中 测 试 被 选 取 特 征 性 能 。 同 时 ， 其 他 3 种 特 征 选 取 方 法 也 被 用 于 5 个 数

16、据 集 的 特 征 选 取 以 比 较 特 征 选 取 方 法 的 性 能 。 实 验结 果 表 明 ISODATA-FS 所 选 特 征 具 有 较 好 的 分 类 和 聚 类 能 力 ， 较 其 他 方 法 所 选 特 征 包 含 更 多 的 样 本 类 别 信 息 。 这 说 明 利 用聚 类 模 型 选 取 的 特 征 兼 有 较 强 的 分 类 和 聚 类 能 力 ， 也 表 明 ISODATA-FS 方 法 能 较 好 地 完 成 高 维 数 据 的 特 征 选 取 任 务 。2. 基 于 模 糊 ISODATA 的 特 征 可 分 性 分 析模 糊 ISODATA 算 法 在 聚

17、 类 过 程 中 不 断 利 用 已 有 的 聚 类 经 验 ， 是 在 迭 代 过 程 中 寻 求 最 优 模 糊 隶 属 度 矩 阵 的 模 糊 聚 类 方法 。 模 糊 ISODATA 算 法 结 构 简 单 ， 计 算 速 度 快 17,18。 设 数 据 集 有 n 个 样 本 ， 样 本 有 m 个 特 征 ，kXkmjkxx,.1其 中 为 样 本 第 j 个 特 征 分 量 ， 若 数 据 集 样 本 来 自 s 个 类 别 ,则 有 s 个 聚 类 中 心 ， 第 i 个 聚 类 中 心 ,kjx iiii vV其 中 为 其 第 j 个 特 征 分 量 。 各 个 样 本

18、隶 属 于 s 个 类 别 的 隶 属 度 矩 阵 为 : , 为 第 k 个 样 本 属 于 第 i 类 的iv nsiknsuU隶 属 度 ， 隶 属 度 值 在 0 至 1 之 间 。 样 本 愈 接 近 某 聚 类 中 心 ， 此 样 本 隶 属 于 该 类 的 隶 属 度 愈 大 。 隶 属 度 矩 阵 同 时 满 足nsU以 下 约 束 条 件 ： ； 。kusik,1 iunik,01基 于 样 本 与 聚 类 中 心 的 距 离 及 约 束 条 件 ， 样 本 隶 属 于 第 i 类 的 隶 属 度 17,18为 ：kX第 i 个 聚 类 中 心 的 第 j 个 特 征 分 量

19、 为 ：ijvstrtkiiV11(1)3样 本 的 隶 属 度 矩 阵 和 s 个 聚 类 中 心 矩 阵 可 以 通 过 用 迭 代 法 求 解 18。 具 体 的 模 糊 ISODATA 算 法 如 下 ：初 始 化 隶 属 度 矩 阵 ;0nUDo计 算 聚 类 中 心 矩 阵 ;*msV刷 新 隶 属 度 矩 阵 ;n;ax*0sn;sUUntil ;阈 值 为 给 定 的 某 任 意 小 数 ， 当 隶 属 度 值 与 前 一 次 的 差 值 绝 对 值 的 最 大 值 小 于 阈 值 时 ， 迭 代 终 止 。 隶 属 度 矩ikuik 阵 元 素 初 始 值 愈 接 近 样 本

20、 在 不 同 类 别 中 的 实 际 隶 属 度 ， 迭 代 收 敛 愈 快 ， 聚 类 也 愈 精 确 18。0s从 样 本 在 特 征 空 间 中 的 位 置 看 ， 同 类 样 本 聚 集 越 紧 密 ， 样 本 离 本 类 聚 类 中 心 越 近 ， 距 异 类 聚 类 中 心 越 远 ， 样 本 越 易 被识 别 ； 反 之 ， 样 本 分 布 就 比 较 分 散 ， 不 易 被 识 别 。 从 这 个 角 度 出 发 ， 特 征 选 取 就 是 为 了 选 取 令 样 本 离 本 类 聚 类 中 心 距 离 近 ，距 异 类 聚 类 中 心 距 离 远 的 特 征 。 可 知 ，

21、样 本 特 征 与 本 类 聚 类 中 心 对 应 的 特 征 分 量 差 值 越 小 ， 与 异 类 聚 类 中 心 对 应 的 特 征 差 值越 大 ， 该 特 征 对 样 本 可 分 性 贡 献 就 越 大 。由 (1)式 知 ， 隶 属 度 以 样 本 离 聚 类 中 心 的 欧 氏 距 离 作 为 主 要 参 数 ， 隶 属 度 隐 含 了 样 本 特 征 与 样 本 类 别 的 关 系 ， 样 本 特iku征 也 影 响 着 样 本 属 于 某 类 别 的 隶 属 度 值 。 鉴 于 此 ， 本 文 在 考 量 样 本 特 征 在 类 内 和 类 间 距 离 关 系 的 同 时 ，

22、 以 样 本 的 隶 属 度 为 权重 量 化 特 征 对 样 本 可 分 性 的 贡 献 。 式 （ 3） 定 义 了 训 练 集 样 本 第 p 个 特 征 对 样 本 可 分 性 贡 献 值 ：式 中 j 表 示 不 同 于 i 的 聚 类 号 。 易 知 ， 样 本 的 本 类 隶 属 度 越 大 ， 异 类 隶 属 度 越 小 ， 权 重 就 越 大 ， 反 之 权 重 就 越ikjk小 。 因 为 隶 属 度 提 现 了 样 本 与 各 聚 类 中 心 的 相 对 关 系 ， 所 以 用 隶 属 度 加 权 能 较 为 科 学 地 评 价 模 糊 ISODATA 聚 类 中 样 本

23、 的特 征 对 样 本 可 分 性 的 影 响 。通 过 隶 属 度 加 权 样 本 特 征 在 类 内 和 类 间 的 距 离 关 系 以 衡 量 特 征 对 样 本 可 分 性 的 贡 献 ， 该 贡 献 值 亦 可 被 视 为 特 征 影 响 模 糊ISODATA 聚 类 能 力 的 重 要 性 指 标 。 因 为 模 糊 ISODATA 算 法 的 “聚 类 ”是 在 无 监 督 情 况 下 得 到 的 ， 能 较 客 观 地 反 映 样 本 数 据的 内 在 结 构 ， 所 以 特 征 的 贡 献 值 越 高 ， 其 所 含 的 样 本 类 别 信 息 会 越 丰 富 。3. 候 选

24、 特 征 子 集 生 成 及 选 取样 本 的 类 别 是 样 本 主 要 特 征 相 互 作 用 的 结 果 ， 并 非 各 样 本 特 征 单 个 作 用 结 果 叠 加 4,5。 基 于 模 糊 ISODATA 算 法 研 究 特征 对 样 本 类 别 可 分 性 的 贡 献 ， 其 过 程 就 是 先 从 特 征 集 合 角 度 考 察 特 征 对 样 本 聚 类 影 响 ， 依 据 特 征 的 “贡 献 值 ”度 量 特 征 在 样本 分 类 和 聚 类 中 发 挥 的 作 用 大 小 。 将 特 征 对 样 本 聚 类 的 影 响 看 成 其 对 样 本 类 别 可 分 性 的 贡

25、 献 指 标 ， 从 原 有 特 征 集 合 中 去 除那 些 对 样 本 类 别 影 响 小 的 特 征 ， 保 留 对 类 别 贡 献 大 的 特 征 ， 形 成 维 数 较 低 的 候 选 特 征 集 合 。 但 仅 凭 一 次 模 糊 聚 类 得 到 的 特 征对 样 本 类 别 可 分 性 的 贡 献 来 选 取 特 征 仍 属 于 filter 方 法 的 范 畴 ， 无 法 满 足 特 征 选 取 的 需 要 14。本 文 采 用 反 向 递 归 特 征 剔 除 (Recursive Feature Elimination, RFE)方 法 产 生 候 选 特 征 子 集 14，

26、 并 将 候 选 特 征 子 集 在 训 练 集nkikjijuxvi21(2)setTraingXij jkiipkjk uvxpIndex)( (3)4中 的 分 类 和 聚 类 实 验 的 AUC 值 与 正 确 率 作 为 递 归 特 征 剔 除 过 程 的 目 标 函 数 。 分 类 实 验 选 用 支 持 向 量 机 （ Support Vector Machine, SVM） 和 K 近 邻 分 类 器 ， 聚 类 实 验 选 用 层 次 聚 类 算 法 。 目 标 函 数 反 映 了 各 候 选 特 征 子 集 的 分 类 和 聚 类 能 力 ， 最 高目 标 函 数 对 应

27、的 候 选 特 征 子 集 即 为 最 佳 候 选 特 征 子 集 ， 其 特 征 将 作 为 数 据 集 样 本 的 类 别 特 征 。 首 先 ， 在 训 练 集 进 行 模 糊ISODATA 聚 类 ， 根 据 （ 3） 式 计 算 特 征 对 样 本 可 分 性 的 贡 献 并 排 序 ， 保 留 贡 献 值 较 高 的 90%特 征 组 成 候 选 特 征 子 集 ； 然 后 ，基 于 该 候 选 特 征 子 集 ， 重 新 进 行 模 糊 ISODATA 聚 类 ， 并 刷 新 特 征 对 样 本 类 别 可 分 性 的 贡 献 值 ， 形 成 维 数 更 低 的 新 的 候 选特

28、 征 子 集 ； 如 此 往 复 ， 得 到 一 组 嵌 套 的 候 选 特 征 子 集 。数 据 集 各 类 别 样 本 数 量 不 均 匀 使 得 仅 以 分 类 和 聚 类 正 确 率 评 价 被 选 特 征 子 集 的 分 类 和 聚 类 能 力 不 够 充 分 ， 为 可 靠 估 计 候选 特 征 子 集 所 含 样 本 类 别 信 息 ， 本 文 还 采 用 分 类 和 聚 类 的 AUC (the Area Under ROC Curve)值 16评 价 特 征 子 集 的 分 类 和 聚类 能 力 。 也 就 是 在 递 归 特 征 剔 除 过 程 中 同 时 用 分 类 和

29、聚 类 实 验 的 AUC 值 和 正 确 率 构 建 目 标 函 数 ， 以 确 定 分 类 和 聚 类 能 力 最强 的 最 佳 特 征 子 集 。 最 佳 特 征 子 集 的 分 类 和 聚 类 能 力 在 独 立 测 试 集 中 得 到 进 一 步 验 证 ， AUC 值 和 正 确 率 越 高 ， 最 佳 特 征 子集 的 分 类 能 力 就 越 强 。递 归 特 征 剔 除 过 程 中 ， 用 训 练 集 样 本 的 模 糊 ISODATA 聚 类 结 果 计 算 特 征 可 分 性 指 标 ， 以 校 验 集 样 本 的 分 类 和 聚 类 结果 构 建 目 标 函 数 选 取

30、最 佳 特 征 子 集 ， 再 用 独 立 测 试 集 样 本 测 试 最 佳 特 征 子 集 的 分 类 和 聚 类 能 力 。 目 标 函 数 避 开 特 征 分 析 模 型模 糊 ISODATA 算 法 有 利 于 避 免 特 征 选 取 方 法 过 度 拟 合 于 模 糊 ISODATA 算 法 ； 独 立 测 试 集 中 最 佳 特 征 子 集 的 分 类 和 聚 类结 果 可 反 映 被 选 特 征 对 训 练 集 和 校 验 集 样 本 的 依 赖 程 度 ， 体 现 特 征 选 取 方 法 的 鲁 棒 性 。4. 特 征 选 取 实 验为 不 失 一 般 性 ， 本 文 研 究

31、 了 两 类 样 本 数 据 的 特 征 选 取 问 题 ， 在 5 个 基 因 表 达 谱 数 据 集 中 进 行 特 征 选 取 实 验 。 基 因 表 达谱 数 据 集 结 构 如 表 1 所 示 ， 为 避 免 特 征 选 取 时 样 本 分 配 偏 置 ， 分 别 对 5 个 基 因 表 达 谱 数 据 集 中 进 行 20 次 特 征 选 取 实 验 ， 每次 将 数 据 集 样 本 按 4:1:1 随 机 分 配 组 成 训 练 集 、 校 验 集 和 独 立 测 试 集 ， 用 训 练 集 和 校 验 集 选 取 特 征 ， 用 独 立 测 试 集 中 测 试 被选 取 特 征

32、 性 能 。表 1 基 因 表 达 谱 数 据 集 数 据 结 构数 据 集 基 因 数 样 本 数 (+/-) 训 练 集 /校 验 集 /独 立 测 试 集 特 征 选 取 范 围 参 考 文 献Acute Leukemia 7129 72(47/25) 48/12/12 100 12Multiple myeloma 7129 105(74/31) 70/18/17 100 19Colon 2000 62(40/22) 42/10/10 500 13DLBCL 7129 77(58/19) 52/13/12 1000 20Prostate 12600 102(52/50) 68/17/17

33、 1000 21其 他 3 种 特 征 选 取 方 法 也 被 用 于 这 5 个 数 据 集 进 行 特 征 选 取 。 T-test 方 法 基 于 异 类 样 本 特 征 的 t-test 值 衡 量 特 征 的 重 要性 22， Relief 方 法 利 用 异 类 样 本 特 征 间 的 相 关 性 来 评 价 特 征 重 要 性 23； SVM-RFE 方 法 在 递 归 特 征 选 取 过 程 中 基 于 线 性 支 持向 量 机 模 型 分 析 特 征 重 要 性 14并 进 行 特 征 选 取 。 前 两 种 方 法 属 于 filter 特 征 选 取 方 法 ， SVM-

34、RFE 和 本 文 提 出 的 ISODATA- FS 方 法 属 于 wrapper 特 征 选 取 方 法 。4.1 噪 声 基 因 滤 除5 个 数 据 集 的 特 征 维 数 远 高 于 样 本 数 ， 数 据 集 中 只 有 小 部 分 特 征 与 样 本 类 别 有 关 ， 其 余 特 征 数 据 为 与 样 本 类 别 无 关 的“噪 声 ”数 据 ， 所 又 有 必 要 先 降 低 特 征 维 数 再 进 行 特 征 选 取 。 ISODATA-FS 算 法 利 用 Bhattacharyya 距 离 过 滤 “噪 声 ”特 征 。Bhattacharyya 距 离 体 现 了

35、 特 征 在 异 类 样 本 中 的 均 值 的 差 异 ， 也 体 现 了 异 类 样 本 间 特 征 方 差 的 不 同 4,24。 Bhattacharyya 距 离公 式 如 下 ： )(2ln1)(4() 222 ffffB(4)5式 中 、 分 别 为 特 征 f 在 两 类 不 同 样 本 中 的 均 值 ， 、 为 相 应 的 标 准 差 。 特 征 的 Bhattacharyya 距 离 越 大 ， 其 在 异 类 样 本 中 的 差 异 就 越 大 ， 包 含 的 样 本 类 别 信 息 就 越 丰 富 。利 用 Bhattacharyya 距 离 过 滤 5 个 数 据

36、集 的 噪 声 特 征 。 通 过 测 试 ， 保 留 表 1 特 征 选 取 范 围 所 示 的 特 征 维 数 进 行 下 一 步 特征 选 取 。 每 次 数 据 集 样 本 随 机 分 配 后 ， 都 根 据 训 练 集 样 本 异 类 特 征 间 的 Bhattacharyya 距 离 重 新 过 滤 噪 声 特 征 。4.2 特 征 选 取实 验 中 设 置 模 糊 ISODATA 算 法 的 聚 类 中 心 个 数 s 为 2、 迭 代 终 止 阈 值 =0.0001。 SVM 的 核 函 数 选 用 线 性 函 数 ； K 近邻 分 类 算 法 取 5 近 邻 ； 层 次 聚

37、类 算 法 中 的 样 本 间 的 距 离 为 欧 氏 距 离 ， 样 本 与 小 类 、 小 类 与 小 类 之 间 的 亲 疏 程 度 用 “平 均 值 ”来 度 量 。ISODATA-FS 方 法 分 别 对 过 滤 后 的 Acute Leukemia 等 5 个 数 据 集 进 行 特 征 选 取 实 验 。 在 递 归 特 征 选 取 过 程 中 ， 基 于 模糊 ISODATA 聚 类 根 据 (3)式 计 算 特 征 对 样 本 类 别 可 分 性 的 贡 献 ， 并 以 据 该 指 标 依 次 剔 除 10%的 特 征 生 成 一 组 候 选 特 征 子 集 ；然 后 基 于

38、 候 选 特 征 子 集 用 训 练 集 样 本 训 练 SVM 和 K 近 邻 分 类 器 ， 识 别 校 验 集 样 本 类 别 ， 基 于 候 选 特 征 子 集 对 校 验 集 样 本做 层 次 聚 类 实 验 ； 再 根 据 分 类 和 聚 类 实 验 的 AUC 值 和 正 确 率 确 定 最 佳 特 征 子 集 ； 最 后 用 独 立 测 试 集 测 试 被 选 最 佳 特 征 子 集的 分 类 和 聚 类 能 力 。表 2 最 佳 特 征 子 集 的 分 类 和 聚 类 结 果 比 较AUC 错 误 数特 征 子 集维 数 SVM K 近 邻 聚 类 SVM K 近 邻 聚 类

39、数 据 集 特 征 选 取 方 法mean meanstd meanstd meanstd meanstd meanstd meanstdT-test 8.40 0.890.09 0.870.10 0.760.15 1.901.41 2.301.53 3.851.63 Relief 6.75 0.920.09 0.880.10 0.800.13 1.300.98 1.751.07 2.851.60 SVM-RFE 10.00 0.960.04 0.950.07 0.780.12 0.800.89 1.450.86 2.951.73 AcuteLeukemiaISODATA- FS 6.20 0

40、.940.07 0.960.04 0.820.13 1.050.89 1.300.98 2.701.69 T-test 10.85 0.970.04 0.970.05 0.920.13 0.850.99 0.750.91 1.651.79 Relief 3.30 0.960.03 0.980.03 0.970.04 0.150.37 0.250.55 0.450.89 SVM-RFE 6.00 0.960.09 0.980.03 0.800.16 1.001.69 0.801.01 1.752.79 Multiple myelomaISODATA- FS 3.10 0.990.02 0.990

41、.02 0.980.04 0.150.49 0.200.41 0.450.86 T-test 15.25 0.800.12 0.760.07 0.810.13 2.251.52 2.851.07 2.501.55Relief 21.50 0.810.13 0.820.13 0.840.12 2.251.35 2.201.38 2.201.74SVM-RFE 21.70 0.830.12 0.830.14 0.740.12 2.051.28 2.051.57 3.701.13ColonISODATA- FS 22.60 0.840.13 0.880.12 0.890.12 2.101.39 1.

42、751.27 2.001.29T-test 23.65 0.890.11 0.860.13 0.690.11 2.101.26 2.101.37 3.901.36 Relief 25.90 0.930.10 0.920.12 0.680.15 1.651.23 1.751.62 3.801.79 SVM-RFE 25.60 0.910.09 0.940.07 0.720.12 1.401.14 1.41.35 3.051.29 DLBCLISODATA- FS 26.45 0.930.11 0.960.08 0.760.14 1.101.17 1.251.12 3.951.04 T-test

43、29.45 0.810.08 0.830.09 0.680.08 3.501.93 3.752.17 6.901.17 Relief 23.75 0.890.09 0.840.09 0.730.11 3. 352.00 4.101.83 6.201.70 SVM-RFE 18.60 0.870.09 0.870.09 0.700.11 3. 001.50 3.301.84 6.451.50 ProstateISODATA- FS 21.80 0.880.09 0.890.07 0.730.11 3.151.66 3.151.46 6.101.77 表 2 记 录 了 ISODATA-FS 方

44、法 在 5 个 数 据 集 中 的 20 次 特 征 选 取 结 果 。 “特 征 子 集 维 数 ”为 20 次 选 取 的 最 佳 特 征 子 集维 数 的 平 均 值 ； AUC 表 示 最 佳 特 征 子 集 在 独 立 测 试 集 中 分 类 和 聚 类 测 试 实 验 的 AUC 值 的 平 均 值 和 标 准 差 ； 错 误 数 表 示 最佳 特 征 子 集 在 独 立 测 试 集 中 测 试 实 验 的 错 分 样 本 数 或 错 聚 样 本 数 的 平 均 值 和 标 准 差 。表 3 列 出 了 ISODATA-FS 方 法 在 5 个 数 据 集 选 取 特 征 所 用

45、的 平 均 时 间 。 特 征 选 取 时 间 与 数 据 集 的 特 征 维 数 有 关 系 ， 维数 高 则 耗 时 就 多 。6表 3 候 选 特 征 子 集 产 生 时 间 比 较数 据 集 T-test(秒 ) Relief(秒 ) SVM-RFE(秒 )ISODATA-FS(秒 )Acute Leukemia 1.0531 13.3025 4.7867 2.2578Multiple myeloma 1.0843 20.0524 8.4501 3.2939Colon 0.2828 3.2258 5.2398 2.3562DLBCL 1.0562 14.5032 8.9828 4.82

46、73Prostate 2.1945 35.1133 14.6126 9.01584.3 特 征 选 取 方 法 比 较表 2 也 列 出 了 其 他 3 种 特 征 选 取 方 法 在 5 个 数 据 集 中 的 特 征 选 取 实 验 结 果 。 噪 声 特 征 过 滤 阶 段 ， T-test 和 Relief 方 法 分别 根 据 特 征 在 异 类 样 本 间 的 t 统 计 量 和 相 关 性 过 滤 噪 声 特 征 ， SVM-RFE 方 法 用 Bhattacharyya 距 离 过 滤 噪 声 特 征 ， 过 滤 后的 特 征 选 取 范 围 与 表 1 所 列 一 样 。 递

47、 归 特 征 选 取 过 程 中 3 种 特 征 选 取 方 法 根 据 各 自 的 特 征 重 要 性 指 标 生 成 候 选 特 征 子 集 ，同 样 ， 分 类 和 聚 类 能 力 最 佳 的 候 选 特 征 子 集 被 确 定 为 最 佳 特 征 子 集 ， 其 在 独 立 测 试 集 中 的 分 类 和 聚 类 结 果 如 表 2 所 示 。由 表 2 知 ， ISODATA-FS 方 法 选 取 的 特 征 在 分 类 和 聚 类 能 力 总 体 上 优 于 其 他 3 种 方 法 选 取 的 特 征 。 其 中 ISODATA-FS方 法 在 5 个 数 据 集 中 选 取 的

48、特 征 的 K 近 邻 分 类 结 果 优 于 其 他 3 个 方 法 选 出 的 特 征 。 SVM-RFE 方 法 在 3 个 数 据 集 中 选 取 的特 征 的 SVM 分 类 正 确 率 高 于 其 他 特 征 选 取 方 法 选 取 的 特 征 ; Relief 方 法 在 2 个 数 据 集 中 选 取 的 特 征 的 SVM 分 类 AUC 值 高于 其 他 特 征 选 取 方 法 选 取 的 特 征 ; SVM-RFE 方 法 在 DLBCL 数 据 集 中 选 取 的 特 征 的 层 次 聚 类 正 确 率 高 于 其 他 方 法 选 取 的 特征 。实 验 中 ISODATA-FS 方 法 选 取 的 特 征 有 较 好 的 分 类 和 聚 类 能 力 。 这 表 明 基 于 模 糊 聚 类 的 特 征 可 分 性 指 标 客 观 地 反 映 了异 类 样 本 的 数 据 结 构 ， 也 说 明 用 分 类 和 聚 类 的 AUC 值 和 正 确 率 构 建 目 标 函 数 ， 既 能 保 证 选 取 的 特 征 有 较 强 的 分 类 和 聚 类 能力 ， 又 可 避 免 单 一 的 分 类 正 确 率 构 成 目 标 函 数 导 致 的 特 征 选 取 偏 置 。 20 次 样 本 随 机 分 配 得 到 的