1、第五章 突触动力学：有监督学习,王衡,目录,1有监督的函数估计2有监督的学习相当于操作性条件反射3有监督的学习相当于有先验知识的随机模式学习4算法，感知器，LMS，BP,1.有监督的函数估计,给定观察得到的随机矢量样本对： 要估计一个未知函数：f : xy，并且使期望误差函数EJ最小。误差=期望输出-实际输出,1.有监督的函数估计,设N为一个神经网络的传递函数，那么可以定义瞬时误差为 ，这是一个随机向量，因为我们不知道联合概率密度函数p(x,y)，所以，无法求出， 一般用 。随机逼近用观测到的随机量来估计期望值，然后在离散的近似算法中使用这些估计量，通常是随机的梯度下降法，举个例子，在Widr
2、ows LMS算法中，他用的梯度是随机梯度,理解细节,1.error surface2.m*3.函数估计与分类,2.有监督的学习相当于操作性条件反射,1.操作性条件反射相当于有监督的学习，如果输入与期望的输出不同，就调节权值m,2.有监督的学习相当于操作性条件反射,2.传统条件反射（相对于非条件反射的概念），神经网络直接把输入x耦合到输出y,2.有监督的学习相当于操作性条件反射,操作性条件反射的例子1自然选择2家长教育孩子,传统条件反射的例子1巴普洛夫试验2望梅止渴,3.有监督的学习相当于有先验知识的随机模式学习,1.模式模式就是特征域 上的一个点，随机时变模式定义了一个随机过程x(t)，t属
3、于0，T，值域是特征域,2.随机模式学习由已知的样本x(1)，x(2)x(n)来估计x的概率密度函数p(x),3.有监督的学习相当于有先验知识的随机模式学习,3.类的子集，下面假设我们把模式空间 分成了k个不相交的子集 ，也叫决策类,4.类的概率,3.有监督的学习相当于有先验知识的随机模式学习,4.类的概率其中 ，是一个指示器函数，定义为 这是离散的情况，如果指示函数指出了模式 x对于类 S的隶属度，那么 S 就是一个模糊集。例如定义 ，那么积分成为,3.有监督的学习相当于有先验知识的随机模式学习,4.类的概率,这说明我们使用的模糊指示函数是正确的，这里模糊的概念就是概率,3.有监督的学习相当于有先验知识的随机模式学习,5.有监督和无监督模式学习,贝叶斯学习，因为用到了指示器函数，所以是有监督的学习,有监督和无监督模式学习的区别依赖于已有的信息以及学习系统如何利用它。在两种情况下系统都不知道,如果知道确定的类，并且学习系统利用了这些信息，那么模式学习就是监督学习。如果不知道或没用类隶属度（指示函数），则模式学习就是非监督的。,3.有监督的学习相当于有先验知识的随机模式学习,监督随机竞争学习定律：先看噪声随机竞争学习定律:,由于上式没有使用类成员信息校正突触矢量，所以是非监督学习。,监督随机竞争学习定律为：,增强函数为：,奖励正确的模式分类1，惩罚错误的模式分类为1。,
