1、 中 南 大 学 基于 Delphi 的神经网络 系统辨识 学 院：信息科学与工程学院 专业班级：自 动 化 0701 姓 名：皇 甫 海 文 学 号： 0901070110 指导老师：韩 华 - 1 - 目 录 第一章 系统辨识与建模 . - 2 - 1.1 系统辨识 . - 2 - 1.2 辨识系统设计 . - 4 - 1.3 常用模型与转换 . - 4 - 1.4 辨识中的参考模型 . - 5 - 第二章 神经网络与 BP算法 . - 6 - 2.1 神经网络简介 . - 6 - 2.2 BP 算法 . - 6 - 2.3 BP 神经网络学习算法推导全过程 . - 8 - 2.4 BP
2、算法的程序代码实现 . - 11 - 第三章 Delphi 实现与结果分析 . - 15 - 3.1 程序设计流程 . - 15 - 3.2 Delphi 界面设计 . - 15 - 3.3 结果与分析 . - 16 - 第四章 总结 . - 19 - 附录一 基于 Delphi 的神经网络系统辨识 . - 20 - 附录二 参考 文献 (References) . - 21 - - 2 - 第一章 系统辨识与建模 1.1 系统辨识 系统辨识是 根据系统的输入输出时间函数来确定描述系统行为的数学模型，是现代控制理论中的一个分支。 通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个
3、能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。对系统进行控制的主要问 题是根据系统的特性设计控制输入，使输出满足预先规定的要求。而系统辨识所研究的问题恰好是这些问题的逆问题。通常，预先给定一个模型类 M（即给定一类已知结构的模型），一类输入信号 u 和等价准则 J L(y， yM)(一般情况下， J 是误差函数，是过程输出 y 和模型输出 yM 的一个泛函 )；然后选择使误差函数 J达到最小的模型，作为辨识所要求的结果。系统辨识包括两个方面： 结构辨识 和参数估计。在实际的辨
4、识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。 1)系统辨识的三要 素 数据：由观测实体而得。不唯一，受观测时间、观测目的、观测手段等影响。 模型类：规定了模型的形式。不唯一，受辨识目的、辨识方法等影响。 准则：规定了模型与实体等价的评判标准。不唯一，受辨识目的、辨识方法等影响。 系统辨识的三要素是评判数据拟合方法优劣的必要条件，只有在相同的三要素下，才可区分数据拟合方法的优劣；而在不同的三要素下，这种结论也会改变。如下图： 2)辨识的基本步骤 A、 先验知识和建模目的的依据 先验知识指关于系统运动规律、数据以及其他方面的已有知识。这些知
5、识对选择模型结构、设计实验和决定辨识方法等都有重要作用。用于不同目的的模型可能会有很大差别。 先验知识是指关于系统运动规律、数据以及其他方面的已有 知识。这些知识对选择模型的结- 3 - 构、设计实验和决定辨识方 法等都具有重要的作用。例如可以从基本的物理定律（牛顿定律，基尔霍夫定律，物质守恒定律等）去确定模型结构，建立所研究的变量之间的关系。如果关于这方面的知识是完备的，模型的结构和参数（至少在原则上）便是可以确定的。在空间技术的应用中建立飞行器的动力学模型就是一个例子。但在多数情形下却很难做到这一点。这时先验知识虽然不能完全确定模型，但是在模型结构 (也就是辨识中的模型类 )的选择上仍然是
6、一个重要因素。此外，对参数变化范围的确定、初值的选取，对数据的必要的限制，以及对模型的适用性进行检验等方面，先验知识也都是最重要的 依据。其次，建模的目的对于确定模型的结构和辨识方法也有重要意义。用于不同目的的模型可能会有很大的差别。在估计具有特定物理意义的参数时，主要考虑模型的参数值与真实的参数值是否一致。在建立预测模型时，只需要考虑预测误差。在建立仿真模型时，就要根据应用的要求去决定仿真的深度，也就是决定模型结构的复杂程度。而对于设计控制系统的模型，则出于不同的控制目的可选择不同的模型类。 B、 实验设计 辨识是从实验数据中提取有关系统信息的过程，设计实验的目标之一是要使所得到的数据能包含
7、系统更多的信息。主要包括输入信号设计，采样区间设计，预采样滤波器设计等。 辨识的基础是输入和输出数据，而数据来源于对系统的实验和观测，因此辨识归根到底是从数据中提取有关系统的信息的过程，其结果是和实验直接联系在一起的。设计实验的目标之一是要使所得到的数据能包含系统的更多的信息。为此，首先要确定用什么准则来比较数据的好坏。这种准则可以是从辨识的可行 性出发的，也可以是从某种最优性原则出发的。实验设计要解决的问题主要是：输入信号的设计，采样区间的设计，预采样滤波器的设计等（见系统辨识实验设计）。 - 4 - C、 结构辨识 即选择模型类中的数学模型 M 的具体表达形式。除线性系统的结构可通过输入输
8、出数据进行辨识外 ，一般的模型结构主要通过先验知识获得。 D、 参数估计 知道模型的结构后，用输入输出数据确定模型中的未知参数。实际测量都是有误差的，所以参数估计以统计方法为主。 E、 模型适用性检验 造成模型不适用主要有三方面原因：模型结构选择不当；实验数据误差 过大或数据代表性太差；辨识算法存在问题。检验方法主要有利用先验知识检验和利用数据检验两类。 凡是需要通过实验数据确定数学模型和估计参数的场合都要利用辨识技术，辨识技术已经推广到工程和非工程的许多领域，如化学化工过程、核反应堆、电力系统、航空航天飞行器、生物医学系统、社会经济系统、环境系统、生态系统等。适应控制系统则是辨识与控制相结合
9、的一个范例，也是辨识在控制系统中的应用。 1.2 辨识系统设计 设计原则 在安全的前提下，尽可能地激励系统；保持输入输出关系；适当解耦 明确目的与要 求以及模型用途 1）了解表示对象 划清要辨识系统的边界，选好输入 /输出，从边界外连入的其它信号尽量保持稳定，并作为被辨识系统的噪声。 整体 /局部 确定哪些输入需要叠加扰动信号，哪些输入要保持稳定 输入 /输出 /噪声 确定是多输入还是单输入（耦合关系）、确定过渡过程是否有明显差异（时间常数）、了解噪信比的大小（滤波）及噪声类型（白色、有色） 值域范围 确定信号采集时是否需要零迁、放大 安全工况 可叠加扰动信号的类型与幅值 选择工况 生 产负荷
10、、试验时间、系统区域隔离、地理区域隔离、安全措施 2）扰动信号设计 要点： 扰动信号频带应宽于过程的工作频带；持续时间为 3-5个扰动信号周期；幅值由安全工况确定，对可中断生产的系统，且试验不引起原材料浪费的，可实施单独试验。 扰动信号类型 M 序列 /白噪声序列 扰动信号幅值 由安全工况确定 1.3 常用模型与转换 1）常用模型 ： 阶跃响应（函数、序列、曲线） 差分方程 /微分方程 连续传递函数 /离散传递函数 连续状态方程 /离散 状态方程 一般描述 /典型环节： 惯性环节 k/(1+Ts)n 微分环节 kTs/(1+Ts)n 积分环节 1/Tas(1+T0s)n 惯性 +微分环节 k(
11、1+aTs)/(1+Ts)n - 5 - 2）模型间的相互转换 1.4 辨识中的参考模型 ARMAX 模 型 A(q-1)y(k)= Bi(q-1)/Fi(q-1)ui(k)+ D (q-1)/C(q-1)e(k) AR 自回归 X 外生变量 MA 滑动平均 线性回归模型 y(k)=-a1y(k-1)- -any(k-n)+b1u(k-1)+ +bmu(k-m)+ (k) =a1, , an, b1, , bmT =-y(k-1), ,-y(k-n),u(k-1), ,u(k-m)T y(k)= T + 伪线性回归模型 当中含有不可观测的变量时，通常用其估计值来代替。因此，含有待估计变量的线性
12、 回归模型称为伪线性回归模型。 有些 ARMAX 模型不能用线性回归模型表示，但可以用伪线性回归模型表示。 预报误差模型 y=f(Y,U, ) +， v 为零均值的新息， f(Y,U, )为 y 的最优估计。 - 6 - 第二章 神经网络与 BP 算法 2.1 神经网络简介 思维学普 遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间
13、产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点 ： 1） 信息是通过神经元上的兴奋模式分布储在网络上 ； 2） 信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络 就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 人工神经网络具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过
14、设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利 用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。 下图是一个典型的神经 网络结构示意图 ： 2.2 BP 算法 BP 算法又称为 误差反向传播 算法。其 基本思想 是，学习过程由信号的正向传播与误差的反向传播两个过程组成。 描述如下： 1）工作信号正向传播： 输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播
15、。在信号的向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。 - 7 - 2）误差信号反向传播： 网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号的反向传播的过程中，网络 的权值由误差信号反馈进行调节。通过权值的不断修改使网络的实际输出更接近期望输出。 下图为多层感知器的一部分，其中有两种信号：一是用实线表示的工作信号，工作信号正向传播；二是哟偶那个虚线表示的误差信号，误差信号反向传播。 BP 网络是一种多层前馈神经网络，其神经元的激励函数是
16、 S 型函数，因此输出量为 0到 l 之间的连续量， 它可以实现从输入到输出的任意的非线性映射。在确定了 BP 网络的结构后，利用输入输出样本集对其进行训练，即对网络的权值和阈值进行学习和调整，以使网络实现给定的输入输出映射关系。经过训练的 BP 网络，对于不是样本集的输入也能给出合适的输出，这种性质称为泛化（ Generalization）能力，从函数拟合的角度看，这说明 BP 网络具有极值功能。 BP 算法流程图如下图： - 8 - 从流程图可以看出， BP 算法包含正向传播和反向传播两个过程。在正向传播过程中，输入样本从输入层经过各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出
17、存在偏差，则转入误差的反向传播阶段。在反向传播阶段，输出误差以某种形式通过隐含层由原正向传播途径反向回传，并按照误差函数的负梯度方向，对各层神经元的权系数进行修正，最终使期望的误差函数趋向最小。因此， BP 算法是一种以梯度法为基础的搜索算法。在算法的实现上，充分体现了神经网络并行处理的特点，原理如下图： 2.3 BP神经网络学习算法推导全过程 三层 BP 网络图 假设三层 BP 网络，输入节点 ，隐节点 ，输出节点 ； 输入节点与隐层节点间的网络权值为 ； 隐层节点与输出节点间的网络权值为 ； 输出节点期望值为 ，则： 隐层节点的输出 其中， - 9 - 输出节点的输出 其中， 于是，输出节点误差为： 由上式可知，网络误差为各层权值 、 的函数，因此通过调整权值可以改变误差 E，直到达到精度要求。显然，调增权值的原则是使误差不断减少，因此应使权值的调整量与误差的梯度下降（负梯度）成 正比。 1）误差函数对输出节点求导 E 是多个 的函数，但只有 与 有关，各 相互独立，其中： 而 于是： 2）误差函数对隐层节点求导 E 是多个 的函数，针对某一个 ，对应一个 ，它与所有 有关，其中：
