1、第 8 章 人工神经网络及其应用,教材： 王万良人工智能导论（第3版） 高等教育出版社,第8章 人工神经网络及其应用,人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。为机器学习等许多问题的研究提供了一条新的思路，目前已经在模式识别、机器视觉、联想记忆、自动控制、信号处理、软测量、决策分析、智能计算、组合优化问题求解、数据挖掘等方面获得成功应用。本章着重介绍最基本、最典型、应用最广泛的BP神经网络和Hopfield神经网络及其在模式识别、联想记忆、软测量、智能计算、组合优化问题求解等方面的应用。,2,第8章 人工神经网络及其应用,神经网络（neural networks，NN）,生物
2、神经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。,神经网络方法： 隐式的知识表示方法,3,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用,4,
3、第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用8.4 Hopfield神经网络及其改进8.5 Hopfield神经网络的应用,5,8.1 神经元与神经网络,8.1.1 生物神经元的结构8.1.2 神经元数学模型8.1.3 神经网络结构与工作方式,6,8.1.1 生物神经元的结构,人脑由一千多亿（1011亿 1014 亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。神经元约有1000种类型，每个神经元大约与103 104个其他神经元相连接，形成极为错综复杂而又灵活
4、多变的神经网络。 人的智能行为就是由如此高度复杂的组织产生的。浩瀚的宇宙中，也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相比。,7,8.1.1 生物神经元的结构,（输入）,（输出）,神经冲动,生物神经元结构,8,8.1.1 生物神经元的结构,工作状态： 兴奋状态：细胞膜电位 动作电位的阈值 神经冲动 抑制状态：细胞膜电位 0, wij = wji , 则 ；当且仅当,65,8.4.3 随机神经网络,Hopfield神经网络中，神经元状态为1是根据其输入是否大于阈值确定的，是确定性的。随机神经网络中，神经元状态为1是随机的，服从一定的概率分布。例如，服从玻尔兹曼(Boltzmann)、高斯
5、(Gaussian)、柯西(Cauchy)分布等，从而构成玻尔兹曼机、高斯机、柯西机等随机机。,66,8.4.3 随机神经网络,1. Boltzmann机 1985年，加拿大多伦多大学教授欣顿(Hinton)等人借助统计物理学的概念和方法，提出了Boltzmann机神经网络模型。 Boltzmann机是离散Hopfield神经网络的一种变型，通过对离散Hopfield神经网络加以扰动，使其以概率的形式表达，而网络的模型方程不变，只是输出值类似于Boltzmann分布以概率分布取值。 Boltzmann机是按Boltzmann概率分布动作的神经网络。,67,8.4.3 随机神经网络,1. Bol
6、tzmann机 （续） 离散Hopfield神经网络的输出： Boltzman机的内部状态： 神经元 输出值为0和1时的概率：,68,8.4.3 随机神经网络,1. Boltzmann机 （续） Boltzmann的能量函数：,神经元 状态转换时网络能量的变化：,神经元 改变为状态“1”的概率：,),exp(,1,1,T,E,p,i,i,D,-,+,=,69,2. 高斯机,8.4.3 随机神经网络,:均值为0的高斯随机变量（白噪声） ，其方差为,3. 柯西机,: 柯西随机变量（有色噪声）,70,8.5 Hopfield神经网络的应用,8.5.1 Hopfield神经网络在联想记忆中的应用8.5
7、.2 Hopfield神经网络优化方法,71,8.5.1 Hopfield神经网络在联想记忆中的应用,72,例8.2,传感器输出：外形，质地，重量T,8.5.1 Hopfield神经网络在联想记忆中的应用,73,例8.2,样本:,具体怎样实现联想记忆？,8.5.1 Hopfield神经网络在联想记忆中的应用,74,样本:,（1）设计DHNN结构,3神经元的DHNN结构图,注：,8.5.1 Hopfield神经网络在联想记忆中的应用,75,样本: ，,连接权：,（ 2）设计连接权矩阵,8.5.1 Hopfield神经网络在联想记忆中的应用,76,样本: ，,连接权：,T,0,1,0,),2,(,
8、=,x,（2）设计连接权矩阵,8.5.1 Hopfield神经网络在联想记忆中的应用,77,（2）设计连接权矩阵,8.5.1 Hopfield神经网络在联想记忆中的应用,78,输入：1，1，1T,输出 ?,（3）测试,8.5.1 Hopfield神经网络在联想记忆中的应用,79,（3）测试,调整次序：,初始状态：,测试用例：,样本：,8.5.1 Hopfield神经网络在联想记忆中的应用,80,调整次序： 213,k = 0,8.5.1 Hopfield神经网络在联想记忆中的应用,81,k = 1,调整次序： 213,8.5.1 Hopfield神经网络在联想记忆中的应用,82,k = 2,调
9、整次序： 213,8.5.1 Hopfield神经网络在联想记忆中的应用,83,k = 2,k = 3,k = 0,k = 1,样本：,调整次序：,2 1 3,2 1 3,2 1 3,2 1 3,8.5.1 Hopfield神经网络在联想记忆中的应用,84,例8.2,输入：1，1 ，1T,输出：1，0 ，1T,8.5.1 Hopfield神经网络在联想记忆中的应用,85,连续Hopfiled神经网络求解约束优化问题的基本思路：,8.5.2 Hopfield神经网络优化方法,1985年，霍普菲尔德和塔克（D. W. Tank）应用连续Hopfield 神经网络求解旅行商问题（traveling
10、salesman problem，TSP）获得成功。,86,8.5.2 Hopfield神经网络优化方法,用神经网络方法求解优化问题的一般步骤：（1）将优化问题的每一个可行解用换位矩阵表示。（2）将换位矩阵与由 n 个神经元构成的神经网络相对应：每一个可行解的换位矩阵的各元素与相应的神经元稳态输出相对应。（3）构造能量函数，使其最小值对应于优化问题的最优解，并满足约束条件。（4）用罚函数法构造目标函数，与Hopfield神经网络的计算能量函数表达式相等，确定各连接权和偏置参数。（5）给定网络初始状态和网络参数等，使网络按动态方程运行，直到稳定状态，并将它解释为优化问题的解。,87,应用举例：
11、Hopfield神经网络优化方法求解TSP。,1985年，霍普菲尔德和塔克（D. W. Tank）应用连续Hopfield 神经网络求解旅行商问题获得成功。,旅行商问题（traveling salesman problem，TSP） ：有 n 个城市，城市间的距离或旅行成本已知，求合理的路线使每个城市都访问一次，且总路径（或者总成本）为最短。,8.5.2 Hopfield神经网络优化方法,88,5个城市的TSP：,神经元数目：25,8.5.2 Hopfield神经网络优化方法,89,TSP的描述：,用罚函数法，写出优化问题的目标函数：,8.5.2 Hopfield神经网络优化方法,90,Hop
12、field神经网络能量函数：,8.5.2 Hopfield神经网络优化方法,令E1 与目标函数J相等，确定神经网络的连接权值和偏置电流：,91,神经网络的动态方程：,8.5.2 Hopfield神经网络优化方法,92,选择合适的A、B、C、D和网络的初始状态，按网络动态方程演化直到收敛。,8.5.2 Hopfield神经网络优化方法,93,神经网络优化计算目前存在的问题：（1）解的不稳定性。（2）参数难以确定。（3）能量函数存在大量局部极小值，难以保证最优 解。,8.5.2 Hopfield神经网络优化方法,94,THE END,Introduction of Artificial Intelligence,95,
