1、9第 9 章 机器学习与知识发现 第 9 章 机器学习与知识发现 9.1 机器学习概述9.2 符号学习 9.3 神经网络学习 9.4 知识发现与数据挖掘 习题九9第 9 章 机器学习与知识发现 9.1 机器学习概述 9.1.1 机器学习的概念 心理学中对学习的解释是 : 学习是指 (人或动物 )依靠经验的获得而使行为持久变化的过程。人工智能和机器学习领域的几位著名学者也对学习提出了各自的说法。 如 Simon认为 :如果一个系统能够通过执行某种过程而改进它的性能 , 这就是学习。 Minsky认为 : 学习是在人们头脑中 (心理内部 )进行有用的变化。 Tom M. Mitchell在机器学习
2、一书中对学习的定义是 : 对于某类任务 T和性能度 P, 如果一个计算机程序在 T上以 P衡量的性能随着经验 E而自我完善 , 那么 , 我们称这个计算机程序从经验 E中学习。 9第 9 章 机器学习与知识发现 9.1.2 机器学习的原理 从以上对于学习的解释可以看出 : (1) 学习与经验有关。 (2) 学习可以改善系统性能。 (3) 学习是一个有反馈的信息处理与控制过程。因为经验是在系统与环境的交互过程中产生的 ,而经验中应该包含系统输入、响应和效果等信息。因此经验的积累、性能的完善正 是通过重复这一过程而实现的。 9第 9 章 机器学习与知识发现 图 9-1 机器学习原理 1 9第 9
3、章 机器学习与知识发现 这里的输入信息是指系统在完成某任务时 , 接收到的环境信息 ; 响应信息是指对输入信息做出的回应 ;执行是指根据响应信息实施相应的动作或行为。按图 9-1, 机器学习的流程就是 : 对于输入信息 , 系统根据目标和经验做出决策予以响应 , 即执行相应动作 ; 对目标的实现或任务的完成情况进行评估 ; 将本次的输入、响应和评价作为经验予以存储记录。可以看出 , 第一次决策时系统中还无任何经验 , 但从第二次决策开始 , 经验便开始积累。 这样 , 随着经验的丰富 , 系统的性能自然就会不断改善和提高。 9第 9 章 机器学习与知识发现 图 9-1所示的学习方式现在一般称为
4、记忆学习。例如 , Samuel的跳棋程序就采用这种记忆学习方法。还有 ,基于范例的学习也可以看作是这种记忆学习的一个特例。记忆学习实际上也是人类和动物的一种基本学习方式。然而 , 这种依靠经验来提高性能的记忆学习存在严重不足。其一 ,由于经验积累是一个缓慢过程 , 所以系统性能的改善也很缓慢 ; 其二 ,由于经验毕竟不是规律 , 故仅凭经验对系统性能的改善是有限的 , 有时甚至是靠不住的。 所以 , 学习方式需要延伸和发展。可想而知 ,如果能在积累的经验中进一步发现规律 , 然后利用所发现的规律即知识来指导系统行为 ,那么 ,系统的性能将会得到更大的改善和提高， 于是 , 我们有图 9-2所
5、示的机器学习原理 2。 9第 9 章 机器学习与知识发现 图 9-2 机器学习原理 2 9第 9 章 机器学习与知识发现 可以看出 ,这才是一个完整的学习过程。它可分为三个子过程 , 即经验积累过程、知识生成过程和知识运用过程。事实上 ,这种学习方式就是人类和动物的技能训练或者更一般的适应性训练过程 , 如骑车、驾驶、体操、游泳等都是以这种方式学习的。所以 , 图 9-2所示这种学习方式也适合于机器的技能训练 , 如机器人的驾车训练。 但现在的机器学习研究一般都省去了上面的经验积累过程, 而是一开始就把事先组织好的经验数据 (包括实验数据和统计数据 )直接作为学习系统的输入 , 然后对其归纳推
6、导而得出知识 , 再用所得知识去指导行为、改善性能 , 其过程如图 9-3所示。在这里把组 织好的经验数据称为训练样本或样例 , 把由样例到知识的转换过程称为学习或训练。 9第 9 章 机器学习与知识发现 图 9-3 机器学习原理 3 9第 9 章 机器学习与知识发现 考察上面的图 9-1、 图 9-2和图 9-3可以发现 , 从经验数据中发现知识才是机器学习的关键环节。所以 , 在机器学习中 , 人们就进一步把图 9-3所示的机器学习过程简化为只有知识生成一个过程 (如图 9-4 所示 ), 即只要从经验数据归纳推导出知识就算是完成了学习。 可以看出 , 图 9-4所示的这类机器学习已经与机器学习的本来含义不一致了 , 实际 上似乎已变成纯粹的知识发现了。
