1、 桂林电子科技大学毕业设计（论文）用纸 第 1 页 共 24 页 1 神经网络动态系统的辨识与控制 摘 要： 本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络 结构 的 内部相连 很独特 ，所以很有必要将他们 统一起来 进行研究。 由 仿真结果 可知辨识与自适 应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及 了必须提出的学术 性 问题， 简介 用数学系统 理论 处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。 权
2、威 系统 理论 最 先进的 地方 定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的 充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要 在 系统 对 系统 基础上 就可以 基本上 建立非线性系统的稳定性 ， 因此 对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。 过去三十年来 ， 对 线性 、非时变和具有不确定参数的对象进行 辨识与 自适应控制 的研究已取得了很大的进展 。 但是在这些研究中 辨识器和控制器 的结构选取和保证整个 系统全局稳定性的
3、自适应调参规律的构成等，都是建立在线性系统理论基础上的 1。 在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有 可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及 辨识器和控制器结构的选择 和 调整参数适应性规则的通用性 问题 。 在 人工神经网络领域里 ，有两类网络今年来最引人注目 ： 它们是 （ 1）多层神经网络（ 2） 回归 神经网络。多层神经网络 被证实在解决模式辨识问题 2-5上非常成功。而 回归神经网络则经常用于联想记忆以及制约优化问题的解决 6-9。从系统理论的观点来看，多层网络呈现静态非线性 映射，而 回归 网络则通过非线性动态反馈系统
4、显现。 尽管 两种网络 存在外观上的 不同外， 但是 很有必要 将他们用统一 成 更 一般 化 的网络 。事实上， 笔者 确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。 本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系桂林电子科技大学毕业设计（论文）用纸 第 2 页 共 24 页 2 统的自适应控制器设计有了主要的提 高，这种控制器就不能用于非线性系统的整体控制。 因此所提出的这个模型在表现这个方
5、向的第一步。第二个目标是为基于反向传播的参数动态调整提出规定的方法这项反相传播算法将在这节中加以介绍。第三个最后的目标是明确规定必须假定的方法论设想以提出问题。 在整个论文中运用了经常用于系统理论的 系统方框图 、电脑仿真来对不同概念进行阐述。本文的结构如下： 第二章讲述的是贯穿全文的基本概念和标记性细节。第三章多层网络和 回归网络的统一。第四章讲述的是神经网络参数调整的静态和动态方法。 第五章讲述辨识模型，第六章讲述自适应控制问题。最后在 第七章指明未来工作的方向。 第二章 基本概念 标记 这章集中讲述与辨识和控制问题相关的概念供参考。尽管只有部分概念直接在第四和第六章讨论的过程中应用到，但
6、是所有这些概念都与广泛认识神经网络动态系统的作用密切相关。 A 系统辨识 与特征化 系统辨识 与特征化 是系统理论最基本的问题。 对系统进行特征化是指对系统进行数学表示 ： 即以一个算 子 P： U Y 作为系统的模型，并确定 P 所属的算子群 ，其中 和 分别是输入空间和输出空间。而系统的辨识则可描述为在已 知 和 的前提下，确定一个子群 和一个元素 ,以使 在某个要求（精确指标）意义下逼进 。 于静态系统， U 和 Y 分别是 和 的子集。而对于动态系统，它们通常被假定为区间 0， T或 0， 上的有界勒贝格可积函数空间。算子 P 则以输入输出对的形式加以定义。如果选取 以及 的形式（即辨
7、识模型）则需要依据精度要求并综合考虑数学处理的简易性及对象被辨识的简易性，而且与离线辨识或在线辨识等因素有关。 1. 静态系统和动态系统的辨识：模式识别问题是静态系统识别的一个典型例子 ， 在 这 里 ， 紧 集 通 过 决 策 函 数 P 映 射 到 输 入 空 间其中 表示与类别 对应的模式矢量。在动态系统中，算 子 P 则以定义一个 给定对象，该对象用输入 -输出函数对 U(t),Y(t)， t 0，T隐含定义。无论哪种识别，其目的都是定义 P使其满足： 其中 是一个理想的小正数， 是某种适当的范数。 为辨识模型输出，因此 是 与 对象输出观测值 Y 之间的误差 。 动态系统的辨识问题将
8、在 C 章节中得到更详细的阐述。 2. Weierstrass 定理 与 Stone-Weierstrass 定理 ： 让 C（ a, b）定义在闭区间 a, b的实值函数连续函数空间，对于 f C（ a, b）具有范数定义为： 桂林电子科技大学毕业设计（论文）用纸 第 3 页 共 24 页 3 著名的 Weierstrass 近似 定理 表明，当满足条件时， C（ a, b）中的 任何函数均可被多项式任意逼近。自然的，它在多项式估计连续函数 的问题中（例如模式识别问题）得到广泛的应用。 基于 Stone 的 Weierstrass 定理的推广称为 Stone-Weierstrass 定理，在
9、动态系统的近似过程中具有重要的理论价值。 Stone-Weierstrass 定理：设 U 是一个紧密度量空间，若 是 的子函数，它包含常值函数和 U 中的分离点，那么 在 中是稠密的。 使我们感兴趣的使可以假定 P 定义在有界、连续、非时变随机 算子 空间范围内。 根据 Stone-Weierstrass 定理，当 满足该定理条件时，可以选择近似于任何特定算子 的并递属于的 模型。 非线性函数的推论在很多文献中得到了广泛的应用，包括一系列著作如：维他里、威纳、 Barret、 Urysohn。 运用 Stone-Weierstrass 定理，可以知道在某个条件下的给定非线性函数可以用维他里级
10、数和威纳级数等一系列相应的级数来表述。 虽然理论上这种表述给人印象深刻，但是在大部分实际动态系统的辨识中还没有得到广泛的应用。 本文的重点在于论述 有限空间非线性差分（ 或积分）方程条件下动态系统的在线辨识与控制。 这样的线性模型在系统文献中是众所周知的，在以下章节中也将讨论到这种模型。 B 系统的描述和问题的提出 在系统理论中，相当一部分系统可以用矢量微分方程或矢量差分方程来描述，例如可以用微分方程表示为： 其中 为状态矢量， 为控制输入矢量，为输出矢量 ， 和 为静态非线性映射： ， 矢量 x（ t）在时间 t 上表示系统状态，并在 t0t 状态下定义，而输入 U 定义于闭区间 。 输出
11、y(t)完全由 t 时间的系统状态决定。在本文中，对于离散时间系统，可以用和方程（ 2）不同的 以下形式的差分方程描述 : 桂林电子科技大学毕业设计（论文）用纸 第 4 页 共 24 页 4 其中 u（ .） ,x(.),y(.)是 离散时间序列。大部分结果也可以扩展成连续时间系统来表示。如果假定方程（ 3）所描述的系统为线性、非时变系统，可以用下式进行描述： 其中 A,B,C 分别为 阶矩阵。 系统由三元组 参数化。在过去三十年里， 已知 C,A 和 B 的线性非时变系统理论已经得到很大的发展 ,线性非时变系统的可控性、稳定性以及可观性的研究也比较成熟。 不同问题的简易性最终使得线性方程由
12、n 个未知数解出 n 个解。 与之相反的是，对于包括非线性方程（ 3）的问题， 和 已知时，没有 类似的手段对 非线性代数方程的结果 进行逼近。 因此，正如以下所述那样，为了使问题更 容易分析，必须作一些假设。 C 辨识与控制 1辨识：方程（ 3）中的函数 和 或者（ 4）中的矩阵 A、 B、 C 是未知时，就出现了未知系统（也就是以下章节中所指的对象）的辨识问题。具体表述如下1: 非时变、时间离散动态系统的输入和输出分别为 和 。其中 是时间有界函数。假设系统在参数化已知而参数值未知时是稳定的，目的是建立一个稳定的辨识模型 （图 1（ a）。其中当输入同时为 u(k)时，得到如时，得到如（
13、1）所述的 近似值输出 。 图 .1(a)系统辨识 图 .2（ b）参数自适应控制模型 2控制： 在控制理论的动态系统分析与综合问题中，或多或少的变量都必须保持在一定的限制内。如果方程（ 3）中的 和 已知， 控制的问题就是设计一个控制器使之 在常值 k 的所有信息基础上 产生理想的控制输入 u(k)。而对于如（ 4）所述的线性系统， A,B,C 已知的控制器综合问题，已经存在大量的频率和时域技术，而对于已经规定 和 的非线性系统，并没有类似的方法。在过去三十年里，人们就对存在不定性的动态系统（ 1）的控制系统产生了 很大桂林电子科技大学毕业设计（论文）用纸 第 5 页 共 24 页 5 的兴
14、趣。为了更具数学简易性，人们将更多的努力花在对线性、非时变和具有不确定参数的对象进行自适应控制上。本文的重点主要是不确定参数非线性动态系统的辨识与控制。 直接使用控模型的自适应系统 得到很广泛的研究。这种系统通常被称为参考模型自适应控制 (MRAC)体统 . MRAC 问题的格式化隐性假设是设计者对所讨论的对象足够熟悉，他可以根据参考模型的输出确定对象的理想行为。 MRAC 问题 实质上可以 如下（图 .1（ b） 所示： （ a） 参考模型自适应控制： 控制对象 P，给定输入输出对 ，稳定参考模型 M 的确定输入输出对为 ， 其中 是有界函数，输出 是系统的理想输出。 目的是对于 确定控制输
15、入 使得 在常数 下有 ： 和上面所述的一样，辨识模型的选择（如参数化）以及基于辨识误差 的参数调整方法是辨识问题的两个主要部分。 决定控制器结构，调整参数使得系统输出与理想输出间的误差最小代表着控制问题的相应部分。 章讲述的是为线性系统建立辨识模型和控制器结构 以及辨识与控制参数 调整 的一些著名方法 。 紧跟着在 章中简单阐述非线性动态系统辨识与控制中遇到的问题。 3线性系统：对于线性、非时变不确定参数对象，辨识模型的产生目前已经众所周知 。对于一个单输入单输出可控可观系统，方程（ 4）中的矩阵 A 和向量 B 和 C 可以用以下方程方式表示： 其中 和 是不确定参数。多输入多输出可控可观
16、系统也可以用相似的方法表示。这意味着在时间 k+1 时的输出是输入和输出过去值的线性组合。公式（ 5)激励以下辨识模型的选择： 并行模型 串行模型 桂林电子科技大学毕业设计（论文）用纸 第 6 页 共 24 页 6 其中 决定阶数的大小。在以下的论述中，系统参数的常向量由 P 表示，而辨识模型由 表示。 对于 可控 可观 线性、非时变系统可以通过线性稳定反馈显示其稳定性。 这一事实可以 用于 设计 系统 的自适应控制器 。例如，当已知系统阶数上限时，控制输出可以通过输入和输出各自的 线性组合产生。如果 表示控制 的 参数 矢量 ，那么存在一个常值矢量 ，当 时，控制器以及系统于参考模型具有相同
17、的输入输出特性。调整 使其保持在稳定状态的自适应算法已是众所周知，其总的格式如（ 8）所示。 4非线性系统： 从 的讨论中可以知道，可控性和可观性在线性系统辨识与控制问题的格式化上是很重要的。线性系统的其他著名的结果也要求选择一个参考模型和合适的系统参数化以保证理想控制器的存在。 尽管近年来有 很多学者提出 诸如 非线性系统的可控性、可观 性、反馈 稳定化以及 观测器设计等问题。，但是没有得出像线性系统那样有效的结论。因此，如何选取非线性系统的辨识模型和控制模型必须根据与系统输入输出相关的一些假设而定。例如，单输入单输出系统由 (3)表示，我们假定 系统的稳定性可以由输入和输出的n 个测量参数
18、重构。 更确切的： ，这样 n 个非线性方程里 n 个未知数 x(k),如果确定，我们假定在区域 内 的所有 u(k)的值，上述方程存在唯一解。 这使得非线性系统的辨识可以用与线性系统的辨识相似的方式提出。 即便方程（ 3）中的 已知，状态矢量也可取，如果产生使对象 具有目标轨迹的控制 仍然使个难题。 因此，对于控制输入的产生，必须假定合适的逆算子的存在。如果假设控制器结构产生输入 ，还要做其他的假设以保证恒定控制参数矢量的存在以达到理想的控制目的。所有这些表明非线性理论需要对一些程序加以考虑以达到系统辨识与控制问题的严格解。 尽管上述的论点中第 章所述的线性模型激励非线性系统的 识别 器和控
19、制器的结构选择。可以如第四章和第五章所述那样将 神经网络融合到这样的结构中。 第三章所述的各种不同的因素表明近来得到人们广泛研究的多层神经网络和回归网路都可以作为非线性动态系统识别器和控制器 设计的子系统。 第三章 多层网路和回归网络 桂林电子科技大学毕业设计（论文）用纸 第 7 页 共 24 页 7 利用 第四章和第五章所述的模型 以保证问题的顺利解决而做的假设与多层网络和回归网络的特性密切相关。在本章中，我们简要介绍这两类神经网络并指出为什么两种网络的统一使用 是 将来解决复杂系统问题 的趋势 。 A 多层网络 一个典型的多层网络由一个输入层、一个输出层以及两个隐含层构成。如图2 所示。
20、为了方便我们用方框图表示。见图 3， 多层网络有三个权 值 矩阵 和 以及一个非线性算子 ，可辨识 sigmoidal 元 紧随每个权矩阵。每层网络可 以用算子来表示： 多层网络的输入输出 映射关系 可以用下式表示： 实际上，多层网络 可以成功的解决模式辨识问题。 如第四章所述的那样调整网络权值 和 使网络输出 y与理想输出与理想输出 yd之间的函数误差最小。映射函数 通过网络以及与输出相应的映射矢量实现其结果。通常非连续映射例如最近相邻规则用于最后状态以使输入设定值在相应的输出空间范围内有意义。以系统理论的观点来看，多层网络可以被看成以权值矩阵单元为参数的可视化非线性映射。在以下章节中，将频
21、繁出现“权”、“参数”这类术语。 B 回归网络 回归网络在很 多论著中得到了很广泛的应用，如 Hopfield 网络，它为模型辨识提供交替性方法。其中 Hopfield 网络可以看作一个带时间延迟的反馈机构与一个单层网络的组合。 图 2 桂林电子科技大学毕业设计（论文）用纸 第 8 页 共 24 页 8 图 3 如方框图 4.和方框图 5 所示。网络的时间离散动态方程为： 给定初值 ， 选择适当 ，动态系统可以带到某个平衡点。以 的某个领域内的各点替换 作为初始状态点 收敛与相同的 平衡点 。术语“协助记忆”就是用来描述这样的系统的。近来，人们已经开始研究恒定输入的连续时间和离散时间回归网络。
22、 17 输入而不是初始状态代表即 将要在这种情况下典型化的模型。在连续时间回归网络中，动态系统 在反馈通道有一个带有可辨识因式的代数传递矩阵。其动态方程可以表示为： 这样 是时间 t 的系统状态，而恒定矢量 是输出。 C 统一方法 尽管 可以知道 神经网络模型辨识 的两种方法存在不同，但是他们间存在密切的关系是毫无疑问的。有恒定输入或没有恒定输入的回归网络几乎都是非线性动态系统而这些系统的逼近行为与初始状态和所给的特定输入有关。 这 两种情况关键取决于反馈环路神经网络所代表的非线性映射。 例如， 没有输入时，离散时间系统回归网络的平衡 点几乎近似映射 的固定点。因此，固定点的存在、独特的条件、
23、给定网络可获得的固定点最大值都与多层网络和回归网络相关。现有的很多文献都涉及到这样的问题。为了数学上的简易起见，大多数文献中都假定回归网络只包含一层网络 。如 。 桂林电子科技大学毕业设计（论文）用纸 第 9 页 共 24 页 9 图 4 Hopfield 网络 图 5。 Hopfield 网络框图 正如前面所述那样，如果有输入则假定输入是恒定的。近来，人们也考虑到了两层回归网络并且通过在反馈环路中包含多层网络可以构造更加通用形的回归网络。 20 虽然本文 前面提到了一些很有趣的思想 ，但是 我们对这种系统的认识还是远远不足的。在第五章和第六章中讲述的系统辨识与控制问题中，多层网络用于串连和反
24、馈的构造上，而这种模型的输入是时间函数。 D 广义神经网络 从上面的论述中可知 多层网络的基本要素是映射 ，而如图5 所示反馈通道的额外时间延迟要素 可以在回归网络中解得。事实上，常规回归网络可以由（ 1）延迟、（ 2）求和以及（ 3）连续时间网络的非线性算子 等的基本操作来构成。在某些情况下（例如（ 11） 允许乘上一个常数。因此，除了线性系统常见的作用外，神经网络系统是只包含 的要 素的非线性反馈系统的网络。 由于任意线性非时变动态系统可以 通过算法求和、常数相乘、时间延迟来构成，可以用广义神经网络产生的非线性动态系统可以用线性系统传递矩阵的形式（如： ）和非线性算子 来表示。 图 6(a
25、)表示 1（ b）表示 2(c)表示 3(d)表示 4 图 6 所示为算子的四种级联反馈连接的结构图， 这些结构图表示的是更复杂的系统。图中 的上标用来区别不同多层网络之间 的不同网络层。 从广义的神经网络来说，映射参数 以及 系列（如（ 10）定义的那样）， 在神经网络的分析研究中起至关重 要的作用。近来在 21中可知，运用定律，一个两层网络，其隐含层有一个任意大的节点，那么该网络在紧闭子集 上可以近似于任何连续函数 。 这就为 保证所述的广义神经网络可以有足够的能力来解决非线性系统理论中的多种问题提供激励。 事实上，第五、第六章所列的辨识与控制模型结构都是广义的神经网络，并与图 6 所示的
26、方框图 结构 有密切的 关系。 为了方便起见，将包含 N 层的多层网络桂林电子科技大学毕业设计（论文）用纸 第 10 页 共 24 页 10 的函数集体记为： ，其中网络包含 个输入， 个输出，以及个隐层节点。 分别为输入节点、输出节点和各隐层节点数。 第四章 静态系统与动 态系统的反向传播算法 本文中，如果运用到神经网络，静态辨识（如模式辨识）和动态系统辨识的研究目的都是为了决定一个自适应算法或规则以在给定输入输出对时调整网络参数。如果网络权值用矢量 表示，那么学习过程包括矢量 的定义，其中 对基于输出误差的函数 的 指标 进行优化。反向传播算法 在静态网络中很常用。为与 有关的指标函数梯度
27、， 为 负梯度调整： 其中 为学习步长，是经过合适挑选的一个常数。 为 在梯度计算中 的最小值 。在本章，我们先概括介绍反向传播算法。接着介绍反向传播算法在动态系统中的一种扩展方法以及反 向传播算法术语的定义，并提出权值矢量调整的说明性方法。这种方法可以用于第五、第六章所述的辨识与控制问题。 在二十世纪了六十年代早期，线性动态系统的自适应辨识与控制得到了广泛的研究 。并开发了 感知 模型以产生与线性系统的可调参数相关的指标标准局部分支。 感知模型第一次将感知法应用于动态系统， 使 必要的自适应系统结构 更具洞察性。 22-25 由于在概念上上述问题与神经网络的辨识与控制参数决定问题一样，很明显
28、反向传播算法也适用于动态系统。 A. 反向传播算法的图表表示 本章介绍反向传播算法的图表表示。 虽然反向传播算法的图 表表示与代数表示在形式上是等效的，但是它们的计算效率是不一样的，因为图表表示法含有拓扑和几何关系信息，特别是图表表示法使个反向传播算法更直观易懂，给其增加一个修正 器 。 该 修正器使得 计算更加 有效，并为现有的结构提供可观的修正以囊括其他的功能扩展。 在图 2 所示的三层网络中， 为输入模式矢量，为输出矢量， 和分别为第一隐含层输出和第二隐含层输出。和 为图 2 中所示的三层网络的权值矩阵。矢量如图 2 所示， ， 其中和 分别为 和 的子式。如果 是理想输出矢量，对于给定输出 模式 的输出误差可以定 义为： 指标标准 定义为： 其中求和是在 给定的模式集 S 上对所有的模式进行的 。如果假设输入模式在各采样时刻提供给网络，指标标准 J 可以取作某一时间内各 误差 的 均方差。这种情形与动态系统相关。在后种情形中，输入和输出为时间顺序，指标标准 J 可以表
