1、Support Vector Machine支持向量机张鑫2002. 2.1提纲n SVM的有关概念介绍n SVM问题的数学表示和推导n 简单的最优分类面 SVMn 广义最优分类面 SVMn 非线性最优分类面 SVMn SVM的分解算法SVM的描述n SVM是一种基于统计学习理论的模式识别方法，它是由 Boser,Guyon,Vapnik在 COLT-92上首次提出，从此迅速的发展起来，现在已经在许多领域（生物信息学，文本和手写识别等）都取得了成功的应用COLT(Computational Learning Theory)n 目标：找到一个超平面，使得它能够尽可能多的将两类数据点正确的分开，同
2、时使分开的两类数据点距离分类面最远。n 解决方法：构造一个在约束条件下的优化问题，具体的说是一个受限二次规划问题(constrained quadratic programing),求解该问题，得到分类器。模式识别问题的一般描述n 已知： n个观测样本， (x1,y1), (x2,y2) (xn,yn)n 求：最优函数 y= f(x,w)n 满足条件：期望风险最小损失函数n 期望风险 R(w)要依赖联合概率 F(x,y)的信息，实际问题中无法计算。n 一般用经验风险 Remp(w)代替期望风险R(w)一般模式识别方法的问题n 经验风险最小不等于期望风险最小，不能保证分类器的推广能力 .n 经验风险只有在样本数无穷大趋近于期望风险，需要非常多的样本才能保证分类器的性能。n 需要找到经验风险最小和推广能力最大的平衡点。最优分类面简单情况：在线性可分的情况下的最优分类面（ Margine最大）SVM问题的数学表示n 已知： n个观测样本， (x1,y1), (x2,y2) (xn,yn)n 目标：最优分类面 wx-b=0n 满足条件：是分类面经验风险最小（错分最少） 推广能力最大（空白最大）分类面方程满足条件n 对 (xi,yi) 分类面方程 g(x)=wx-b应满足即
