1、 数据挖掘原理赵卫东 博士复旦大学软件学院What is Data Mining?n According to the Gartner Group, Data mining is the process of discovering meaningful new correlations, patterns and trends by sifting through large amounts of data stored in repositories, using pattern recognition technologies as well as statistical and mat
2、hematical techniques.n Data mining refers to the work of discovering new and useful (business) knowledge from large real databases through a non-trivial process and using a sound methodology and multiple data processing and analytical techniques.n Examples:n Detect taxation fraud: not declaring all
3、income for taxation;n From the thousands of mobile phone customers, predict which customers are going to switch to a competitor .数据挖掘受多学科的影响 n 数据挖掘是一个交叉科学领域，受多个学科影响，包括数据库系统、统计、机器学习、可视化和信息科学。 一个比较正式的数据挖掘的定义n 高 层 次上的主 动 式自 动发现 方法，被称 为发现驱动 型知 识发现 。n 从数据中提取 正确的、有用的、未知的和综合的信息 并用它进行决策的过程。n 数据挖掘的相关学科是统计理论、
4、数据库技术和人工智能。n 前 Business Objects的 Todd Rowe曾表示： “从技 术 上 讲 ，甚至只要有完 备 的 Excel数据就能用上 BI。 ” 过程n 数据挖掘并不是一个装在软件包装盒中的工具可以简单的买到并运行在商业智能环境中，也不会自动开始产生值得注意的商业规律。正确的n 提取的信息应该是正确的，并且在统计上是重要的以支持有依据的决定。正确意味着确证性和完整性。不但需要从数据库中得到正确的客户，还希望得到所有正确的客户。这就需要原始数据和数据挖掘过程都具有正确性。有用的n 数据挖掘过程可能会传递正确的和重要的结果，但是这些知识必须是对商业有用的。如结果告诉你要
5、在一个大量的渠道上多样化市场运作，这可能会无法办到。同样结果必须使你能抢在竞争对手之前行动。未知的n 数据挖掘要产生新的信息。如果过程只是传递一些无关紧要的结果，那么数据挖掘的商业动力就会消失。这就是区分验证和探索的性质。最小要求n 以上显示了数据挖掘最小要求，可以用它来评价数据挖掘是否对业务环境增加了附加的价值n 其他要求Why Data Mining?n Gain an insight into business datan Identify useful patterns, correlations and models from data automatically to answer
6、 questions like, n Which customer is likely to churn in two months?n Which customer is my cross sell target?n What are the characteristics of my high spending and low spending customers?n Data mining is a core technology of business intelligencen Data mining is a core application of data warehousesn Data mining is the core technology of analytical CRMn Data mining is the core technology of online recommendation and personalization in e-commercen Data mining has become a part of business function in many companies
