1、目 录 第一章 引言 . - 1 - 1.1 神经网络的概述 .- 1 - 1.2 人工神经网络的研究目的和意义 .- 1 - 1.3 神经网络的发展与研究现状 .- 2 - 1.3.1 神经网络的发展 .- 2 - 1.3.2 神经网络的研究现状 .- 3 - 1.4 神经网络研究目前存在的问题 .- 3 - 1.5 神经网络的应用领域 .- 4 - 第二章 BP 神经网络概述 . - 5 - 2.1 BP 神经网络介绍 .- 5 - 2.2 神经元 .- 5 - 2.2.1 人工神经元 .- 5 - 2.2.2 生物神经元 .- 9 - 2.3 BP 神经网络原理 .- 9 - 2.4 B
2、P 神经网络的主要功能 .- 11 - 2.5 BP 神经网络的优点和缺点 .- 12 - 第三章 BP 神经网络的应用 . - 15 - 3.1 基于 MATLAB 的 BP 神经网络工具箱函数 .- 15 - 3.1.1 MATLAB 工具箱介绍 .- 15 - 3.1.2 BP 网络创建函数 .- 16 - 3.1.3 神经元上的传递函数 .- 16 - 3.1.4 BP 网络学习函数 .- 17 - 3.1.5 BP 网络训练函数 .- 17 - 3.2 BP 网络在函数逼近中的应用 .- 17 - 3.2.1 问题的提出 .- 17 - 3.2.2 基于 BP 神经网络逼近函数 .-
3、 17 - 3.2.3 不同频率下的逼近效果 .- 21 - 3.2.4 讨论 .- 23 - 3.3 仿真实验 .- 23 - 3.3.1 BP 神经网络 MATLAB 设计 .- 23 - 3.3.2 各种 BP 学习算法 MATLAB 仿真 .- 25 - 3.3.3 各种算法仿真结果比较与分析 .- 27 - 3.3.4 调整初始权值和阈值的仿真 .- 28 - 3.3.5 其他影响因素仿真 .- 31 - 3.4 BP 神经网络在样本分类 中的应用 .- 31 - 3.4.1 问题的提出 .- 31 - 3.4.2 基于 BP 神经网络的样本分类 .- 32 - 结束语 . 错误 !
4、未定义书签。 致 谢 . 错误 !未定义书签。 参考文献 . - 36 - 附录 A .40 - 1 - 第一章 引言 1.1 神经网络的概述 人工神经网络（ Artificial Neural Networks，简写为 ANNs）也简称为神经网络（ NNs）或称作连接模型（ Connection Model），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 神经元网络是机器学习学科中的一个重要部分，用来 classification 或者regression。 思维 学普遍认
5、为，人类大脑的思维分为抽象（ 逻辑 ）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将 分布式存储 的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点： 1.信息是通 过神经元上的兴奋模式分布存储在网络上； 2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络 就是模拟人思维的第二种方式。这是一个 非线性动力学 系统，其特色在于信息的 分布式存储
6、和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 1.2 人工神经网络的研究目的和意义 人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（ 1）通过揭示物理平面与认知平面之间
7、的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（ 2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（ 3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 - 2 - 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专 家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展
8、，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。 1.3 神经网络的发展与研究现状 1.3.1神经网络的发展 神经网络诞生半个世纪以来，经历了五个阶段： （ 1） 奠基阶段：早在 40 年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家 McCulloch 提倡数字化具有特别意义。他与青年数学家 Pitts 合作，从
9、人脑信息处理观点出发，采用数理逻辑模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第 一个神经计算模型，即神经元的阈值元件模型，简称 MP 模型，他们认识到了模拟大脑可用于逻辑运行的网络，有一些结点及结点与结点之间相互联系，构成一个简单神经网络模型。其主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能，从而开创了神经网络的研究。这一革命性的思想，产生了很大影响。 （ 2） 第一次高潮阶段： 1958 年计算机科学家 Rosenblatt 基于 MP 模型，增加了学习机制，推广了 MP 模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是
10、线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节 正比于计算输出 值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。 （ 3） 坚持阶段：神经网络理论那遥远但并非遥不可及的目标着实吸引了很多人的目光，美国军方认为神经网络工程应当比“原子弹工程”更重要，并对它的投资兴趣非常大，而对其实践的效果也比较满意。 （ 4） 第二次高潮阶段： Kohonen 提出了自组织映射网络模型，映射具有拓扑性质，对一维、二维是正确的，并在计算机上进行了模拟，通过实例所展示的自适应学习效果显著。他认为有可能推广到更高维的情况。 （ 5） 新发展阶段：从神
11、经网络理论的发展史看，它的高潮阶段是很容易度过- 3 - 的。 IJCNN91 大会主席 Rumelhart 意识到这一点，在他的开幕词中有一个观点，神经网络的发展已到了一个转折的时期，它的范围正在不断扩大，其应用领域几乎包括各个方面。半个世纪以来，这门学科的理论和技术基础已达到了一定规模，笔者认为，神经网络到了新发展阶段，需要不断完善和突破，使其技术和应用得到有力的支持。 1.3.2神经网络的研究现状 进入 20 世纪 90 年代以来，神经网络由于应用面还不够宽，结果不够精确，存在可信度问题，从而进入了认识与应用研究期。 1）开发现有模型的应用 ， 并在应用中根据实际运行情况对模型、算法加以
12、改造 ， 以提高网络的训练速度和运行的准确度。 2）充分发挥两种技术各自的优势是一个有效方法 。 3）希望在理论上寻找新的突破 ， 建立新的专用 /通用模型和算法。 4）进一步对生物神经系统进行研究 ， 不断地丰富对人脑的认识。 1.4 神经网络研究目前存在的问题 人工神经网络理论本身也在完善和发展中。如神经的稳定性和收敛性问题有待进一步研究。神经网络结构和神经元数量的确定还没有成熟的理论等。如广泛使用的 BP网络就存在： (1)收敛速度慢，且收敛速度与初始权值选取有关 (2)网络结构 设计，即隐层及接点数的选择尚无理论指导 (3)新加人的样本会影响已训练好的样本 (4)存在局部最小问题 人工
13、神经网络自身的问题直接影响其应用。包括在经济领域的应用。随着人工神经网络研究和应用的不断深入。一些改进算法和技术，如模拟退火算法、遗传算法 (GA)、模糊技术、小波分析等和神经网络逐步融合，提高了神经网络模型的工作性能。例如运用模糊技术克服一般神经网络学习过程复杂、收敛速度慢的弱点，并提高了模型的精度。将小波分析良好的局域化性质与神经网络的自适应学习和非线性映射能力相结合，使神经网络具有极佳的函数逼近能 力，这为非线性长期预报提供了新的思路和方法。遗传算法是近来发展起来的一种随机多点搜索算法。具有很强的自适应性、鲁棒性，它在全局寻优上的能力可以防止神经网络在寻优过程中陷人局部最小点。 一个经济
14、活动或现象往往是多种因素合力的结果，各个因素之间往往存在耦合，在实际中往往难以对各个因素进行合理的量化。同时神经网络的评估精度主要取决于训练样本的数量和质量，而在实际中难以一次性获得足够的理想样本，这要在使用过程中逐步积累，通过不断的学习使网络趋于完善。 - 4 - 1.5 神经网络的应用领域 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1)自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题，主要有系统建模与辨识、 PID 参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制
15、等。典型的例子是 20世纪 60年代初，美国“阿波罗”登月计划中， Kilmer和 MeClloch 等人根据脊椎动物神经系统中网状结构的工作原理，提出了一个 KMB 模型，以使登月车在远距离复杂环境下具有一定的自制能力 。 (2)处理组合优化问题。最典型的例子是成功地解决了 TSP问题，即旅行推销员问题（ Travelling Salesman Problem），另外还有最大匹配问题、装箱问题和作业调度等。 (3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 (4)图像处理。对图像进行边缘监测、图像分割、
16、图像压缩和图像恢复。 (5)传感器信号处理。传感器输出非线性特性的矫正、传感器故障检测、滤波与除噪、环境影响因素的补偿、多传感信息融合。 (5)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。 (6)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (7)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (8)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于 BP网络的
17、波形分类和特征提取在计算机临床诊断中的应用M （ 3）对于每个节点 i存在一个阈值 iq; （ 4）对于每个节点 I,定义一个变换函数 ,()iiijfxwi， ij；对于最一般的情况，此函数取 ()iijjj,fwxiq-形式。 3.通过训练进行学习：神经网络是通过所研究系统过去的数据进行训练的。是一个经过适当训练的神经网络，具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程。 4 适应与集成：神经网络能适应在线运行，并能同时进行定量和定性操作。这些特性特别适用于 复杂、大规模和多变量的控制。 5.硬件实现：神经网络不仅能够通过软件而且借助软件实现并行处理。由于超大规模集成电路的硬件实现，使得神经网络具有快速和大规模处理能力的实现网络。 6.具有联想存储功能：利用人工神经网络的反馈网络就可以实现这种联想。 7.有高速寻找优化解的能力：利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。 8.具有很强的鲁棒性和容错性。在神经网络中，信息的存储是分布在整个网络
