1、感知器准则函数,对于任何一个增广权向量a ，对样本y正确分类，则有：aTy0 对样本y错误分类，则有：aTy0定义一准则函数JP(a) (感知准则函数)：,感知器准则,被错分类的规范化增广样本集,恒有JP(a)0，且仅当a为解向量，Yk为空集（不存在错分样本）时， JP(a)=0，即达到极小值。确定向量a的问题变为对JP(a)求极小值的问题。,梯度下降算法,梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。,感知器准则,算法(step by step),感知器准则,1. 初值: 任意给定一向量初始值a(1)2. 迭代: 第k+1次迭代时的权向量a(k+1)等于第k次
2、的权向量a(k)加上被错分类的所有样本之和与rk的乘积3. 终止: 对所有样本正确分类,梯度下降算法计算实例,有两类的二维数据，其中第一类的两个样本为(1,4) t和(2,3) t，第二类的两个样本为(3,2) t和(4,1) t。假设初始的a=(0,1,0) t，n(k)=1利用批处理感知器算法求解线性判别函数g(y)=aty的权向量a。首先对每个样本增加一维为增广样本。然后规范化第二类的样本为：(-3,-2,-1) t和(-4,-1,-1) t。,梯度下降算法计算实例,计算错分的样本集： g(y1)=(0,1,0)(1,4,1) t=4（正确）g(y2)=(0,1,0)(2,3,1) t=
3、3（正确）g(y3)=(0,1,0)(-3,-2,-1) t=-2（错分）g(y4)=(0,1,0)(-4,-1,-1) t=-1（错分）,对错分的样本集求和：(-3,-2,-1) t+(-4,-1,-1) t =(-7,-3,-2) t修正权向量a：a= (0,1,0) t +(-7,-3,-2) t= (-7,-2,-2) t再计算错分的样本集：g(y1)=(-7,-2,-2)(1,4,1) t=-17 （错分）g(y2)=(-7,-2,-2)(2,3,1) t=-22 （错分）g(y3)=(-7,-2,-2)(-3,-2,-1) t=27 （正确）g(y4)=(-7,-2,-2)(-4,-1,-1) t=32 （正确）,对错分的样本集求和：(1,4,1) t+(2,3,1) t =(3,7,2) t修正权向量a：a= (-7,-2,-2) t +(3,7,2) t= (-4,5,0) t再计算错分的样本集：g(y1)=(-4,5,0)(1,4,1) t=16 （正确）g(y2)=(-4,5,0)(2,3,1) t=7 （正确）g(y3)=(-4,5,0)(-3,-2,-1) t=2 （正确）g(y4)=(-4,5,0)(-4,-1,-1) t=11 （正确）全部样本正确分类，算法结束a=(-4,5,0) t。,
