1、,支持向量机1、线性可分情况下的支持向量机1）支持向量机的定义：支持向量机是一个特殊的线性分类器 ，其分类面满足（1）分类面与两类样本间的距离相等。 （2）分类面与两类样本间的距离最大。支持向量（support vector）的定义：见图,2）线性鉴别函数与分类面的对应关系线性鉴别函数与分类面不是一一对应的。每一个分类面有无穷多个鉴别函数与其相对应。,3）支持向量机设计的目的，本质上是寻求一个距离最大化的等距离分类面。对于任意一个等距离的分类面，必然有无穷多个线性鉴别函数与其对应。在这些鉴别函数中，必然存在一个线性鉴别函数 满足|g(x0)|=1, 其中 为“支持向量”。对于任意一个给定的等距
2、离分类面，仅需考虑这样的鉴别函数 。此时分类面距两类样本的间距为,该鉴别函数 满足如下性质：（1）对“支持向量” ： （2）对“非支持向量” ：（3）两类样本间的间隔（Margin）:,4）支持向量机的数学描述：寻求一个鉴别函数 ，满足如下条件：（1） 取得最大值。（2） 该问题等价于求解如下约束条件下的优化问题： minimize : 优化问题1 subject to:,5）约束条件下优化问题的求解（1）拉格朗日函数的定义：,（2）优化问题1最优解 需要满足的条件：存在一组拉格朗日因子，使得 满足：,（3）优化问题1的等价描述： maximize : subject to :该问题等价于：
3、问题2 subject to:,（4）最优 的求解 根据约束条件下的优化问题的求解方法求解问题2，得到 。 根据下式求解 ： 根据KKT条件求解 ： 支持向量的定义：每一个 都对应于一个 ， 如果 ，则称 为支持向量。给定训练样 本集，最优的 完全由支持向量决定。,2、非线性可分情况下的支持向量机（1）样本集非线性可分条件下的问题描述：在非线性可分条件下，不存在一个 满足：但是，存在 满足如下条件：对于任意的 ，存在 使得：,因此，可以提出一个如下的优化问题： minimize : 问题3 subject to:,（2）最优解 需要满足的条件： 拉格朗日函数的定义：,KKT条件： 为最优解的条件如下：,（3）问题3的等价描述： maximize： subject to：该问题等价于： 问题4 subject to:,（4）最优 的求解 根据约束条件下的优化问题的求解方法求解问题4，得到 。 根据下式求解 ： 根据KKT条件求解 ：,
