1、1,机器学习研究回顾与趋势,王 珏中国科学院自动化研究所2004年9月，秦皇岛,2,机器学习的发展,至今，机器学习= 神经科学与认知科学+数学+计算希望，?。,James(19世纪末)：神经元相互连接McCulloch, Pitts(20世纪中期): “兴奋”和“抑制”Hebb(20世纪中期):学习律,神经科学,有限样本统计理论线性空间表示,Samuel：符号机器学习,机器学习研究历程,4,符号机器学习,Solomonoff关于文法归纳的研究应该是最早的符号机器学习(1959)。1967年Gold证明，这是不可能的实现的。Samuel将学习限制在结构化数据，由此，学习演变为约简算法，这是现代符
2、号机器学习的基础。如果将每条规则理解为一个分类器，符号机器学习是Hebb路线的产物。,5,“机器学习”现状,神经科学与认知科学扮演先知者角色。数学填充了神经科学和认知科学与计算之间的沟堑。现状是：神经与认知的成果并没有多少被使用于计算。,6,机器学习的研究趋势,尽管“学习机制”还是研究的动力，然而， “烦恼网络”的危机，使得更为重要的推动力来自“有效利用”信息。传统领域借用机器学习提高研究水平。应用驱动的机器学习方法层出不穷。基于机器学习的数据分析方法成为解决复杂问题的关键之一。,7,传统领域借用机器学习提高研究水平,文本与图像占信息的绝大数，近几年，模式识别最引人注目的是机器学习在这个领域扮
3、演日益重要的角色。在文本分析与自然语言理解上，数据资源建设逐渐完善，关注的焦点是机器学习，文法归纳的方法已死灰复燃。,8,应用驱动的机器学习方法层出不穷,面临信息多种多样，复杂！流形机器学习：稀疏数据的非线性方法 (特征抽取)。增强学习：对变化环境适应(机器人)。多实例学习：半监督学习(药物设计)。ranking学习：需求是事物排序的学习(搜索引擎)。数据流学习：大量数据快速过滤(有害信息过滤)。这些问题大多数没有坚实的理论基础，处于实验观察阶段。,9,基于机器学习的数据分析方法成为解决复杂问题的关键之一,由于大部分问题不能满足机器学习所需的条件，因此，需要考虑数据分析。符号数据分析(数据挖掘
4、)：关联规则，例外分析。例外分析：Shapard and Nosofsky的认知研究+符号机器学习,10,机器学习存在的理论问题,统计类机器学习需要满足独立同分布条件，严厉！寻找问题线性表示的空间，没有一般的原则。信息向符号的映射，没有好的方法。机器学习没有一劳永逸的解决方案。领域知识与数据分析不可避免。,11,AI的悲剧角色,当问题没有理论解决方案时，人们说，这是AI问题，让AI研究吧。当问题在AI研究中已经解决，人们为了避免回答“这就是智能吗”之类的问题，说，这与AI无关(“深蓝”)。不能解决的问题远远大于能够解决问题，因此，AI有存在的必要性。,12,特殊比普适更重要,在研究方法上，AI研究应该向非线性等领域学习，一类问题的深入研究比普适的研究更重要。例如，本体方法，一个领域本体的深入研究比广泛地构造本体更重要。AI进展需要依赖其它学科的进展，特别是神经科学与认知科学，以及对数学工具的寻找结果。,13,谢谢！,
