内容 SVM的理论基础 线性判别函数和判别面 最优分类面 支持向量机 LIBSVM简介 实验SVM的理论基础 传统的统计模式识别方法只有在样本趋向无穷大时 ,其性能才有理论的保证。统计学习理论(STL) 研究有限样本情况下的机器学习问题。SVM的理论 基础就是统计学习理论。 传统的统计模式识别方法在进行机器学习时,强调 经验风险最小化。而单纯的经验风险最小化会产生“ 过学习问题”,其推广能力较差。 推广能力是指: 将学习机器(即预测函数,或称学习 函数、学习模型)对未来输出进行正确预测的能力 。 SVM的理论基础 “过学习问题”:某些情况下,当训练误差 过小反而会导致推广能力的下降。 例如:对一组训练样本(x,y),x分布 在实数范围内,y取值在0,1之间。无论 这些样本是由什么模型产生的,我们总可 以用y=sin(w*x)去拟合,使得训练误差为 0.SVM的理论基础 根据统计学习理论,学习机器的实际风险由经验风 险值和置信范围值两部分组成。而基于经验风险最 小化准则的学习方法只强调了训练样本的经验风险 最小误差,没有最小化置信范围值,因此其推广能 力较差。 Vapnik 与1995年