1、基于KDD的知识自动获取及其应用,答 辩 人：黄 瑞指导教师：赵远东 副教授 史忠植 研究员,主要内容,一、研究背景及意义二、基于KDD的知识自动获取模型概述三、基于知识库的KDD四、自动演化知识库五、模型在自动化测井数据分析中的应用六、总结与展望,研究背景及意义,知识获取研究概述知识获取的基本过程知识获取研究的主要内容知识自动获取研究发展KDD (Knowledge Discovery in Databases)研究概述KDD的基本过程KDD的主要任务数据挖掘的常用方法KDD的应用本文的研究目的,知识获取的基本过程,人类学习知识的基本过程,基础知识学习（固化记忆）,生产实践（总结经验）,知识
2、的发展与完善（新、旧知识融合）,循环,知识获取的基本过程,知识获取的基本过程,知识工程师从知识源抽取知识存入知识库,通过机器学习或数据挖掘工具从实践数据中获得新知识,由知识工程师和领域专家配合更新知识库,循环,人类学习知识的基本过程,知识获取的基本过程,人类学习知识的基本过程,知识获取的基本过程,知识获取研究的主要内容,知识抽取,知识建模,知识转换,知识检测,知识的组织与管理,知识自动获取研究发展,非自动的知识获取,自动知识获取,知识自动获取研究发展,运用机器学习方法构建知识库Okamura 等人的钢铁工艺生产专家系统Yamamoto 等人的高炉配料操作自动知识获取系统中科院合肥智能所的农业病
3、虫害专家系统,运用机器学习方法增强知识库的自适应能力吴荣根教授的基于模型的数字电路设计系统Elliott.和Schneider 的故障分离专家系统,拥有自学习能力的知识编辑器Wheeler 和Schneider 的知识自动获取工具AUTOKNAQ,知识自动获取研究发展,利用KDD技术从数据中自动发现新知识Mitchell 等人的燃气涡轮机故障检测TIGON系统Takano 等人的可自动生成操作序列的范例学习工具,扩大到了知识管理、Web知识获取等领域，引入了本体学习、语义Web等概念与技术KAON工具套件中的TEXT-TO-ONTO工具Henk-Jan Lebbink等人的基于本体的知识系统J
4、oerg-Uwe Kietz等人的自动本体获取Paulo Gottgtroy等人研究了动态领域中的知识发现问题清华大学的基于语义Web的本体数据挖掘平台中科院计算所的综合知识管理平台CKMP,知识自动获取研究发展,存在的问题,循环,环境/背景知识不断变化,自动进行,?,KDD的基本过程,KDD从大量数据中提取出可信的、新颖的、有用的且可以被人理解的模式的高级处理过程五个步骤为：数据选择、数据预处理、数据转换、数据挖掘、模式解释/评价,KDD的主要任务,关联分析分类聚类预测时序模式偏差检测空间数据挖掘 Web数据挖掘,数据挖掘的常用方法,关联规则挖掘决策树方法统计方法粗糙集方法人工神经网络遗传算
5、法,KDD的应用,数据挖掘和知识发现系统IBM Almaden研究中心的Quest加拿大Simon Fraser大学的DBMinerAT&T实验室的IMACS和Spotlight中科院计算所的MSMiner,作为知识获取工具Bohanec等人的决策支持工具DEXIBM Watson研究中心开发的SEAS专家系统明确提出了“基于知识的数据挖掘”这一概念,?,KDD的应用,存在的问题,知识库,KDD工具,知识工程师&领域专家,发现,融合,先验知识,?,本文的研究目标,背景：中澳科技合作特别资金项目“数据挖掘技术在石油天然气勘探开发工程中的应用”问题：动态环境下基于KDD的知识自动获取方法：从研究基
6、于知识库的KDD出发，将知识库中的知识作为先验知识引入KDD过程；进而研究知识库的自动演化机制，将KDD过程发现的新模式与知识库中的原有知识进行自动的知识检测与融合目标：自动进行基于KDD的知识获取循环,基于KDD的知识自动获取模型,模型结构,主要子系统,约束生成从知识库自动产生对KDD过程的约束输入：知识库和KDD模块的参数输出：对KDD过程的约束基于约束的KDD数据选择：依据相应的约束选出相关数据数据预处理：筛选掉非法的记录并补齐缺失值数据挖掘：基于约束的规则挖掘解释/评价：根据规则的支持度、置信度、并结合其满足约束的程度对目标规则集进行处理,主要子系统,知识库管理对所发现的新知识与知识库
7、中的原有知识进行一致性检测和完整性检测，并对不一致和不完整的情况自动进行处理知识应用将知识库中的知识应用于实际的运行过程，并从外界获得反馈，与运行结果进行比较，计算误差，激发下一轮基于KDD的知识获取过程两个误差阈值：平均误差阈值和严重错误阈值在KDD等过程中，知识库不变且保持可用，知识库更新后也可以立即应用,相关工作比较,利用KDD过程辅助知识自动获取的方法运用KDD过程从实际案例中发现知识建立知识库或验证知识库中的现有知识将KDD过程发现的知识自动融入知识库存在的问题需要进行繁琐的手工操作KDD独立于现有知识本文模型的优点利用KDD过程的发现结果建立和完善知识库利用知识库中的现有知识指导K
8、DD过程进行,基于知识库的KDD,基本思想根据一定的约束生成机制自动从知识库中生成约束，这些约束在一定程度上反映了知识库中的现有知识利用这些约束指导KDD过程的进行，实现基于约束的数据挖掘，即相当于利用知识库中的现有知识指导了KDD过程的进行整个约束生成和基于约束的KDD过程都可以自动化地进行，减少了手工操作的任务量，极大地提高了模型的工作效率及其实时性。,模型知识库中的知识表示方法,采用面向对象的概念和技术，吸收了框架理论和语义网络的一些特点，并融合了产生式规则表示方法,关联规则挖掘,设I=i1, i2, im是事务项的集合。设任务相关的数据D是数据库事务的集合，D中的每个事务T是一个事务项
9、集且满足 。每一个事务有一个标识TID。设X是一个事务项集，事务T包含X当且仅当 。关联规则是形如 的蕴涵式，其中 且规则的支持度：规则的置信度：,基于约束的关联规则挖掘,约束：包括数据约束、挖掘的维和层次约束、规则约束等规则模板：用来表示用户希望探察或希望证实的、并且感兴趣的规则模式例：,数据约束“X属性值必为负”：规则约束“挖掘包含原子表达式(X ?)的规则，Z为目标属性”：,基于知识库的约束自动生成,例规则行：if (DEN = 2.111) & (CNL =14.397, CALI=-0.398 (56/0).c :- RT=7.198, RT=9.28 (127/0).c :- AC
10、=94.375, RT=5.426, SP=8.654 (23/1).c :- RT=7.198, CNL=28 (31/6).c :- CALI=8.966 (6/2).c :- CALI=73.987 (8/1).c :- AC=101.787 (2/0).default b (494/0).= summary =Train error rate: 1.61% +/- 0.44% (808 datapoints) Test error rate: 66.77% +/- 2.64% (319 datapoints) Hypothesis size: 8 rules, 23 condition
11、sLearning time: 0.98 sec,OKPS简介 KAMT,OKPS简介 OOIE,自动演化知识库,设定知识检测与融合时所需参数,自动演化知识库,知识检测与融合,本文的工作,设定KDD过程各个步骤的算法及其参数的子系统从知识库自动生成约束根据约束自动设定MSMiner的挖掘任务自动知识检测自动知识融合测井数据分析主系统,总结与展望,本文的主要贡献提出了一种通用的基于KDD的知识自动获取模型。利用KDD发现的知识自动完善知识库；同时从知识库中自动生成约束指导KDD过程。该模型在一定程度上减轻了人工操作的负担，并可以自适应动态变化的环境。实现了基于知识库的KDD过程。提出了在数值属性的取值区间上进行知识自动检测的方法。提出了结合规则支持度、置信度及其满足约束程度的知识自动融合机制。,总结与展望,下一步的工作提高基于约束的KDD系统的创新能力对约束进行评价和优化，进一步提高基于约束的KDD过程有效性和针对性平衡模型的鲁棒性和对知识变化的敏感程度拓展模型的应用范围，进一步将模型应用于KBS、知识管理、决策支持、Web知识获取等领域，实现更多动态环境下的、基于KDD的、可以自动获取知识的应用系统,谢 谢！,
