1、 Copyright by Song Zhihuan自动化前沿自动化前沿第四讲 数据挖掘技术及其应用宋执环浙江大学工业控制研究所控制科学与工程学系 研究生课程 Copyright by Song Zhihuan主要内容主要内容 l 数据挖掘概述l 数据预处理l 数据挖掘算法分类与预测l 数据挖掘算法聚类l 数据挖掘算法关联分析l 序列模式挖掘l 数据挖掘软件l 数据挖掘应用 Copyright by Song Zhihuan一、数据挖掘概述一、数据挖掘概述 Copyright by Song Zhihuan数据挖掘概念数据挖掘概念l 数据挖掘 -从大量数据中寻找其规律的技术， 是统计学、数据库
2、技术和人工智能技术的综合。l 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构 ；l 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型 。数据挖掘与数据挖掘与 KDD Copyright by Song Zhihuan数据挖掘与数据挖掘与 KDDl 知识发现（ KD） 输出的是规则 l 数据挖掘（ DM） 输出的是模型 l 共同点 两种方法输入的都是学习集（ learning sets） 目的都是尽可能多的自动化数据挖掘过程 数据挖掘过程并不能完全自动化，只能半自动化 Copyright by Song Zhihuan数据挖掘的社会需求数据挖掘的社会需求国民经济和社会的信息
3、化 社会信息化后，社会的运转是软件的运转社会信息化后，社会的运转是软件的运转 社会信息化后，社会的历史是数据的历史社会信息化后，社会的历史是数据的历史 Copyright by Song Zhihuan数据挖掘的社会需求数据挖掘的社会需求数据挖掘数据库越来越大有价值的知识可怕的数据 Copyright by Song Zhihuan数据挖掘的社会需求数据挖掘的社会需求数据爆炸，知识贫乏苦恼 : 淹没在数据中 ; 不能制定合适的决策 ! 数据 知识知识 决策决策n 模式n 趋势n 事实n 关系n 模型n 关联规则n 序列n 目标市场n 资金分配n 贸易选择n 在哪儿做广告n 销售的地理位置n 金
4、融n 经济n 政府n POS.n 人口统计n 生命周期 Copyright by Song Zhihuan数据挖掘的发展数据挖掘的发展l 1989 IJCAI会议： 数据库中的知识发现讨论专题 Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)l 1991-1994 KDD讨论专题 Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusa
5、my, 1996)l 1995-1998 KDD国际会议 (KDD95-98) Journal of Data Mining and Knowledge Discovery (1997)l 1998 ACM SIGKDD, SIGKDD1999-2002 会议 ,以及 SIGKDD Explorationsl 数据挖掘方面更多的国际会议 PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc. Copyright by Song Zhihuan数据挖掘技术数据挖掘技术l 技术分类 预言（ Predication）： 用历史预测未来 描述（ Description）： 了解数据中潜在的规律l 数据挖掘技术 关联分析 序列模式 分类（ 预 言 ） 聚集 异常检测
