SVM以及RVM学习报告 一支持向量机支持向量机是一种机器学习方法，以统计学习理论的VC维理论和结构风险最小化原则为基础。所以要首先理解VC维和结构风险最小化原则这两个概念。VC维就是一种含有特殊含义的维数，可以联我们平时熟悉的二维平面，三维空间等等。这种特殊含义就是，对于一个函数集，能够把一个含有h个样本的样本集按照所有可能的种形式分开而不能被分开，那么样本的vc维就是h。其中的指示函数的函数值取-1和1或者是0和1。例如二维平面的线性函数集合，能够把平面上的三个点分成8种形式，这三个点相当于一个样本集的样本数，而不能够将平面上的4个点分成16种形式，而只能是14中形式。结构风险包括两个方面，一个是经验风险，一个是置信风险。之所以说是经验风险，是因为实际中学习样本是有限的，即使是根据大数定理，经验风险也是和期望风险有偏差的。一般是，函数集的vc维越大，经验风险就越小。还有置信风险是与推广能力有关的，即是预测未来的的准确性。函数集的vc维越大，模型就越
