1、支持向量机及其学习算法主讲 :赵姝安徽大学计算机科学与技术学院主要内容u支持向量机u支持向量机的分类学习算法 u用于函数拟合的支持向量机 u支持向量机算法的研究与 应 用u仿真 实 例u传统统计学是一种 渐进理论 ，研究的是样本数目趋于无穷大时的极限特性。u现有的学习方法多基于 传统统计学理论，但在实际应用中，样本往往是有限的，因此一些理论上很优秀的学习方法在实际中的表现却不尽人意，存在着一些难以克服的问题，比如说如何确定网络结构的问题、过学习问题、局部极小值问题等，从 本质 上来说就是因为理论上需要无穷样本与实际中样本有限的矛盾造成的。 u与传统统计学的方向不同， Vapnik等人提出了一个
2、较完善的基于有限样本的理论体系 统计学习理论 。u统计学习理论是又一种通用的前馈神经网络，同样可用于解决模式分类和非线性映射问题。u支持向量机方法是在统计学习理论基础上发展起来的通用学习方法，它具有全局优化、适应性强、理论完备、泛化性能好等优点 。支持向量机（ Support Vector Machine， SVM）u90年代中期，在统计学习理论的基础上发展出了一种通用的学习方法 支持向量机。 它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以获得最好的泛化能力 。u支持向量机在很多机器学习问题的应用中已初步表现出很多优于已有方法的性能。u支持向量机的理论最初来自于对数据分类问题
3、的处理。对于线性可分数据的二值分类，如果采用多层前向网络来实现，其机理可以简单描述为：系统随机的产生一个超平面并移动它，直到训练集合中属于不同类别的点正好位于该超平面的不同侧面，就完成了对网络的设计要求。但是这种机理决定了不能保证最终所获得的分割平面位于两个类别的中心，这对于分类问题的 容错性 是不利的。 u保证最终所获得的分割平面位于两个类别的中心对于分类问题的实际应用是很重要的。支持向量机方法很巧妙地解决了这一问题。u该方法的机理可以简单描述为：寻找一个满足分类要求的最优分类超平面，使得该超平面在 保证分类精度 的同时，能够 使超平面两侧的空白区域最大化 ；从理论上来说，支持向量机能够实现
4、对线性可分数据的最优分类。为了进一步解决非线性问题， Vapnik等人通过引入 核映射 方法转化为高维空间的线性可分问题来解决。 最优分类超平面（ Optimal Hyperplane ）u对于 两类线性可分 的情形，可以直接构造最优超平面，使得样本集中的所有样本满足如下条件：（ 1） 能被某一超平面正确划分；（ 2） 距该超平面最近的 异类 向量与超平面之间的距离最大，即分类间隔（ margin ）最大 。u设 训练样本输入为 ， ， 对应的期望输出为 u如果训练集中的所有向量均能被某超平面正确划分，并且距离平面最近的 异类向量之间的距离最大（即边缘 margin最大化），则该超平面为最优超平面 （Optimal Hyperplane ） 。最优分类面示意图 支持向量Support Vector
