1、5.5 支持向量机 支持向量机n 支持向量机 (Support Vector Machines, SVM) n 源于 Vapnik和 Chervonenkis的统计学习理论的早期工作n 第一篇论文是 Boser, Guyon和 Vapnik BGV92的文章 n 优点n 对复杂的非线性边界的建模能力n 与其它模型相比 , 它们不太容易过分拟合n 支持向量机还提供了学习模型的紧凑表示 n 广泛的使用范围n SVM可以用来预测和分类n 它们已经用在许多领域 , 包括手写数字识别、对象识别、演说人识别 , 以及基准时间序列预测检验 支持向量机n 两个线性可分的类n 找到这样一个超平面，使得所有的方块
2、位于这个超平面的一侧，而所有的圆圈位于它的另一侧 n 可能存在无穷多个那样的超平面 n “最大边缘 ”原理 ：即追求分类器的泛化能力最大化。即希望所找到的决策边界，在满足将两类数据点正确的分开的前提下 ,对应的分类器边缘最大。这样可以使得新的测试数据被错分的几率尽可能小。 如下图所示的情况 (b)就比情况 (a)与 (c)的泛化能力强 ,其原因在于其分界面与两类样本中的最近邻的样本的距离最大 .(a) (b) (c)决策边界的边缘denotes +1denotes -1直观而言，如何分类这些样本？即给出一个决策超平面n 更多的例子：要考虑以下因素： 经验风险最小 (已知的样本错分最少) 泛化能
3、力最大(可能出现的新样本错分最少 )决策边界的边缘denotes +1denotes -1n 更多的例子：决策边界的边缘denotes +1denotes -1n 更多的例子：决策边界的边缘denotes +1denotes -1n 更多的例子：决策边界的边缘denotes +1denotes -1所有的决策超平面都是可行的。但是应该选择哪一个为最优决策超平面呢？n 更多的例子：决策边界的边缘Classifier Margindenotes +1denotes -1 Define the margin of a linear classifier as the width that the boundary could be increased by before hitting a datapoint.n 更多的例子：决策边界的边缘
