1、* 1神经 网络Neural Networks* 2目 录1. 神经计算2. 并行分布式理论框架3. 交互与竞争神经网络4. 误差反向传播神经网络5. Hopfield神经网络6. 自组织特征映射网络7. 自适应共振理论8. 脉冲耦合神经网络* 3神经 网络 一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存获取的知识。* 4发展历史 萌芽期（ 20世纪 40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到
2、 1949年止。 1943年，心理学家 McCulloch和数学家 Pitts建立起了著名的阈值加权和模型，简称为 M-P模型。发表于数学生物物理学会刊 Bulletin of Methematical Biophysics 949年，心理学家 D. O. Hebb提出神经元之间突触联系是可变的假说 Hebb 学习律。 * 5发展历史 第一高潮期（ 19501968） 以 Marvin Minsky， Frank Rosenblatt， Bernard Widrow等为代表人物，代表作是单级感知器（ Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门
3、都开始大批地投入此项研究，希望尽快占领制高点。 * 6发展历史 反思期（ 19691982） M. L. Minsky和 S. Papert， Perceptron ， MIT Press， 1969年 异或 ” 运算不可表示 二十世纪 70年代和 80年代早期的研究结果 * 7发展历史 第二高潮期（ 19831990） 1982年， J. Hopfield提出 Hopfield网络 用 Lyapunov函数 作为网络性能判定的能量函数，建立 ANN稳定性的判别依据 阐明了 ANN与动力学的关系 用非线性动力学的方法来研究 ANN的特性 指出信息被存放在网络中神经元的联接上 * 8发展历史 第
4、二高潮期（ 19831990） 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网 -Tank 电路。较好地解决了著名的 TSP问题，找到了最佳解的近似解，引起了较大的轰动。 1985年， UCSD的 Hinton、 Sejnowsky、 Rumelhart等人所在的并行分布处理（ PDP）小组的研究者在 Hopfield网络中引入了随机机制，提出所谓的 Boltzmann机 。 * 9发展历史 1986年，并行分布处理小组的 Rumelhart等研究者重新独立地提出多层网络的学习算法 BP算法 ，较好地解决了多层网络的学习问题。（ Paker1982和 Werbos1974年） 自适应共振理论（ ART） 自组织特征映射理论* 10发展历史 Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一 ( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究 , 国内首届神经网络大会 是 1990年 12月在北京举行的 。
