最优控制方法.doc

1、目录第一章 变分法1.1 变分法的定义和定理1.2 泛函与变分1.3 欧拉方程1.4 横截条件1.5 泛 函 的 局 部 极 值1.6 变 分 法 求 解 最 有 控 制 问 题第二章 极值原理2.1 极值原理2.1.1 积 分 型 最 优 控 制 问 题 的 最 小 值 原 理2.1.2 积 分 型 最 优 控 制 问 题 的 最 大 值 原 理2.1.3 有关最大值原理（或最小值原理）的几点说明2.2 最小值原理的几种具体形式第三章 动态规划及其在时间最短控制问题3.1 多级决策问题3.2 离散动态规则3.3 连续动态规则3.4 变分法、最大值原理与动态规划第四章 线性二次型最优控制问题4

2、.1 线性二次型问题4.2 有限时间的状态调节器问题4.3 无限时间的状态调节器问题4.4 输出调节器问题4.5 跟踪问题4.6 线性二次型实验及仿真结果4.7 倒立摆最优控制摘要：本文主要阐述了关于最优控制问题的基本概念及其应用问题。最优控制理论是在 满足 一 定 约 束 条 件 下 ， 寻 求 最 优 控 制 策 略 ， 使 得 性 能 指 标 取 极 大 值 或 极 小 值 的一门学科，解决最优控制问题的主要方法有变分法、极值原理和动态规划。为了具体形象的解释这些问题，本文还将线性二次型实验及仿真结果用来研究探讨，并且把倒立摆最优控制作为最优控制的应用举例，希望能加深读者对本文的理解。关

3、键词：最优控制 变分法 极值原理 动态规划 最优解正文：第一章 变分法1.1 变分法的定义和定理变分法名称定义：变分法是处理函数的函数的数学领域，和处理数的函数的普通微积分相对。譬如，这样的泛函可以通过未知函数的积分和它的导数来构造。变分法最终寻求的是极值函数：它们使得泛函取得极大或极小值。变分法定理：变分法的关键定理是欧拉-拉格朗日方程。它对应于泛函的临界点。在寻找函数的极大和极小值时，在一个解附近的微小变化的分析给出一阶的一个近似。它不能分辨是找到了最大值或者最小者（或者两者都不是） 。变 分 法 在 理 论 物 理 中 非 常 重 要 ： 在 拉 格 朗 日 力 学 中 ， 以 及 在

4、最 小 作 用 原 理 在 量 子力 学 的 应 用 中 。 变 分 法 提 供 了 有 限 元 方 法 的 数 学 基 础 ， 它 是 求 解 边 界 值 问 题 的 强 有 力 工具 。 它 们 也 在 材 料 学 中 研 究 材 料 平 衡 中 大 量 使 用 。 而 在 纯 数 学 中 的 例 子 有 ， 黎 曼 在调 和 函 数 使 用 狄 利 克 雷 原 理 。同 样 的 材 料 可 以 出 现 在 不 同 的 标 题 中 ， 例 如 希 尔 伯 特 空 间 技 术 ， 莫 尔 斯 理 论 ， 或者 辛 几 何 。 变 分 一 词 用 于 所 有 极 值 泛 函 问 题 。 微 分

5、 几 何 中 的 测 地 线 的 研 究 是 很 显 然 的 变分 性 质 的 领 域 。 极 小 曲 面 （ 肥 皂 泡 ） 上 也 有 很 多 研 究 工 ， 称 为 Plateau 问 题 。 最 优 控 制 的 理 论 是 变 分 法 的 一 个 推 广 。1.2 泛 函 与 变 分泛 函 与 变 分 有 如 下 的 基 本 概 念 。设 对 于 自 变 量 t， 存 在 一 类 函 数 x（ t） 。 如 果 对 于 每 个 函 数 x（ t） ， 有 一 个 J值 与 之 对 应 ， 则 变 量 J 成 为 依 赖 于 函 数 X（ t） 的 泛 函 数 ， 记 作 Jx（ t）

6、。由 上 述 定 义 可 见 ， 泛 函 为 标 量 ， 可 以 理 解 为 “函 数 的 函 数 ”， 其 值 由 函 数 的 选 取而 定 。研 究 泛 函 的 极 值 问 题 ， 需 要 采 用 变 分 法 。 变 分 在 泛 函 研 究 中 的 作 用 ， 如 同 微 分 在函 数 研 究 中 的 作 用 一 样 。 泛 函 的 变 分 与 函 数 的 微 分 ， 其 定 义 几 乎 完 全 相 当 。（ 1） 泛 函 的 变 分定 义 ： 如 果 连 续 泛 函 Jx(t)的 增 量 可 以 表 示 为 ：（1.1）其中，Lx(t)，dx(t)是关于 dx(t)的线性连续泛函，而 r

7、x(t)，dx(t)是关于 dx(t)的高阶无穷小。 Lx(t)，dx(t) 称为泛函的变分，记为（1.2）也 就 是 说 ， 泛 函 的 变 分 是 泛 函 增 量 的 线 性 主 部 。 当 一 个 泛 函 具 有 变 分 时 ， 即 泛 函 的 增 量可 以 用 式 （ 1.1） 来 表 示 时 ， 称 该 泛 函 是 可 微 的 。（ 2） 泛 函 的 极 值定 义 ： 如 果 泛 函 Jx(t)在 函 数 空 间 中 点 x=x0(t)的 邻 域 内 ， 其 增 量 为 ：（ 1.3）就 称 泛 函 Jx(t)在 点 x0(t)处 达 到 极 小 值 ；如 果 泛 函 Jx(t)在

8、函 数 空 间 中 点 x=x0(t)的 邻 域 内 ， 其 增 量 为 ：(1.4)就 称 泛 函 Jx(t)在 点 x0(t)处 达 到 极 大 值 ；x0(t)的 邻 域 包 含 满 足 条 件 ： 的 所 有 点 x(t)的 球 （ 即 以 x0(t) 为圆 心 ， 以 d 为 半 径 的 球 ） 。1.3 欧 拉 方 程欧 拉 方 程 又 称 欧 拉 -拉 格 朗 日 方 程 ， 我 无 约 束 泛 函 极 值 及 有 约 束 泛 函 极 值 的 必 要 条件 。 再 推 导 欧 拉 方 程 的 过 程 中 ， 应 用 了 所 示 的 泛 函 极 值 的 必 要 条件 。定 理 1：

9、 若 给 定 曲 线 x(t)的 始 端 x(t0)= x0 和 终 端 x(tf)= xf， 则 泛 函（ 1.5）达 到 极 值 的 必 要 条 件 是 ， 曲 线 x(t)满 足 欧 拉 方 程（ 1.6）其 中 x（ t） 应 有 连 续 的 二 阶 导 数 ， 则 至 少 应 是 二 次 连 续 可 微 的 。定 理 2：在 n 维 函 数 空 间 中 ， 若 极 值 曲 线 X(t)=x1(t),x2(t),xn(t)T 的 始 端 X(t0)=x1(t0),x2(t0),xn(t0)T 和 终 端 X(tf)=x1(tf),x2(tf),xn(tf)T 是 给 定 的 ， 则 泛

10、 函（ 1.7）达 到 极 值 的 必 要 条 件 是 曲 线 X(t)满 足 向 量 欧 拉 方 程（ 1.8）其 中 X（ t） 应 有 连 续 的 二 阶 导 数 ， 而 则 至 少 应 是 二 次 连 续 可 微 的 。1.4 横 截 条 件当 极 值 曲 线 x*(t)的 端 点 变 化 时 ， 要 使 泛 函 达 到极 小 值 ， x*(t)首 先 应 当 满 足 欧 拉 方 程 ： （ 1.9）若 端 点 固 定 ,可 以 利 用 端 点 条 件 :0(),dt0),0Jt0(),ftJxLdxxdLt0 ,Ltt0,ftJXLtdXdt (),LtXt0()(),ftJxtLx

11、tt0dLfft)(（ 1.10）确 定 欧 拉 方 程 中 的 两 个 待 定 的 积 分 常 数 。1.5 泛 函 的 局 部 极 值定 理 ： 若 泛 函（ 1.11）的 一 阶 变 分 （ 1.12）则 Jx(t)达 到 极 小 值 的 充 分 条 件 是 二 阶 型 矩 阵（ 1.13）是 正 定 的 或 半 正 定 的 ； 而 Jx(t)达 到 极 大 值 的 充 分 条 件 是 式 （ 1.13） 是 负 定 的 或 半 负定 的 。此 定 理 可 以 推 广 到 含 有 n 个 未 知 函 数 的 泛 函 的 情 形 。1.6 变 分 法 求 解 最 有 控 制 问 题在 控

12、制 向 量 不 受 约 束 ， 且 是 时 间 的 连 续 函 数 情 况 下 ， 可 用 变 分 法 导 出 最 优 控 制 解 的必 要 条 件 。 在 变 分 法 问 题 中 ， 以 复 合 型 指 标 泛 函 ， 末 端 受 约 束 的 情 况 最 有 代 表 性 。对 于 最 优 控 制 问 题 来 说 ， 当 状 态 变 量 和 控 制 变 量 均 不 受 约 束 ， 即 X(t)Rn， U(t)Rm 时 ， 是 在 等 式 约 束 条 件 下 求 泛 函 极 值 的 变 分 问 题 ， 因 此 ， 可 以 利 用 拉 格 朗 日 乘 子法 来 求 解 。对 于 混 合 边 界 问

13、 题 ， 即 两 点 边 界 值 问 题 ， 有 以 下 求 解 步 骤 ：（ 1） U=UX(t)， (t)， t （ 1.14） （ 2） 并 代 入（ 1.15）（ 1.16）（ 3） （ 1.17）（ 4） （ 1.18）（ 5） 求 解 方 程 （ 1.17） 和 （ 1.18） 可 得 唯 一 确 定 的 解 X（ t） 和 (t)。 将 所 求 得 的X(t)和 (t)代 入 式 （ 1.14） 中 ， 可 求 得 相 应 的 U(t)。说 明 ：（ 1） 对 于 两 点 边 界 值 问 题 ， 一 般 难 以 求 得 其 解 析 解 ， 通 常 需 要 采 用 数 值 计 算

14、方 法求 其 数 值 解 。ft dtxLxJ0),()()(,),(),(,222txLtxLtt()(),HXtftUt,)(Uft ,)()(ttXtH（ 2） 利 用 引 入 哈 密 顿 函 数 的 方 法 求 解 拉 格 朗 日 型 最 优 控 制 问 题 ， 是 将 求 泛 函 、在 等 式约 束 条 件 下 对 控 制 函 数 U(t)的 条 件 极 值 问 题 转 化 为 求 哈 密 顿 函 数 H 对 控 制 变 量 U(t)的 无 条 件 极 值 问 题 。 这 种 方 法 称 为 哈 密 顿 方 法 。第 二 章 极 值 原 理应 用 经 典 变 分 法 求 解 最 优

15、控 制 问 题 ， 要 求 控 制 向 量 不 受 任 何 约 束 ， 而 且 要 求 哈 尼顿 函 数 对 控 制 向 量 连 续 可 微 。 但 是 ， 在 实 际 工 程 问 题 中 ， 控 制 变 量 往 往 受 到 一 定 的 限 制 。例 如 ， 高 性 能 飞 机 的 舵 偏 角 一 般 不 超 过 正 负 五 度 ； 又 如 ， 采 用 空 气 舵 的 地 -空 战 术 导弹 ， 容 许 的 最 大 偏 角 舵 角 一 般 不 超 过 正 负 二 十 度 。 这 就 使 得 飞 机 和 导 弹 的 控 制 力 矩 受 到一 定 的 限 制 ， 容 许 控 制 集 合 形 成 一

16、 个 有 界 闭 集 ， 在 容 许 控 制 集 合 边 界 上 ， 控 制 变 分 不 能任 意 ， 最 优 控 制 的 必 要 条 件 亦 不 满 足 。为 了 解 决 控 制 有 约 束 的 变 分 问 题 ， 庞 特 里 亚 金 提 出 并 证 明 了 极 小 值 原 理 ， 其 结 论与 经 典 变 分 法 的 结 论 有 许 多 相 似 之 处 ， 能 够 应 用 于 控 制 变 量 受 边 界 限 制 的 情 况 ， 并 且 不要 求 哈 密 顿 函 数 对 控 制 向 量 连 续 可 微 ， 因 此 获 得 了 广 泛 应 用 。2.1 极 值 原 理2.1.1 积 分 型 最

17、 优 控 制 问 题 的 最 小 值 原 理 ：给 定 系 统 的 状 态 方 程和 初 态 X(t0)=X0， 而 终 端 时 刻 tf 固 定 ， 终 端 状 态 X(tf)自 由 以 及 控 制 变 量 U(t)所 受约 束 条 件 是（ 2.1）则 为 将 系 统 从 给 定 的 初 态 X(t0)转 移 到 某个 终 态 X(tf) ， 并 使 性 能 泛 函（2.2）达到极小值的最优控制应满足的必要条件是：(1)设 U*(t)是最优控制, X*(t)是对应于 U*(t)的最优轨线，则必存在一与 U*(t)和 X*(t)相对应的 n 维协态变量 (t)，使得 X*(t)和 (t)满足

18、规范方程。（2.3）（2.4）其中，（2.5）（2）边界条件为（2.6）ft dtXLJ0,)( ),()(tUtXft0,U,Htf(),(),TXtUtLft0（2.7）（3）在最优控制 U*(t)和最优轨线 X*(t)上哈密顿函数达到最大值,即（2.8）说明：由于以上的中心内容是，使性能泛函达到极小值的最优控制的必要条件是哈密顿函数 H 达到最大值，所以，该定理称为最（极）大值原理。2.1.2 积分型最优控制问题的最大值原理：给定系统的状态方程(2.9)和初态 X(t0)=X0， 而终端时刻 tf 固定，终端状态 X(tf)自由以及控 制变量 U(t)所受约束条件是（2.10）则为将系统

19、从给定的初态 X(t0)转移到某个终态 X(tf) ，并使性能泛函0(),ftJLXUtd（2.11）达到极小值的最优控制应满足的必要条件是：（1）设 U*(t)是最优控制, X*(t)是对应于 U*(t)的最优轨线，则必存在一与 U*(t 和 X*(t)相对应的 n 维协态变量 l(t)，使得 X*(t)和 l(t)满足规范方程（2.12）（2.13）其中，（2.14）（2）边界条件为（2.15）（2.16）(3) 在最优控制 U*(t)和最优轨线 X*(t)上哈密顿函数达到最大值,即()0ft*(),max,()UtXHXt(),tft0,f()(),Htft(),(),TXtUtLft0

20、()tf*()(),max,()UtHXtXt（2.17）说明：由于以上的中心内容是，使性能泛函达到极小值的最优控制的必要条件是哈密顿函数 H 达到最大值，所以，该定理称为最（极）大值原理。应用最大值原理和最小值原理求解同一个最优控制问题，所得到的最优控制和最优轨线是一致的，但是，协态变量却是互为反号的。2.1.3 有关最大值原理（或最小值原理）的几点说明：（1）最大值原理（当然包括最小值原理，以下同）是对古典变分法的发展。它不仅可以用来求解函数 U(t)不受约束或只受开集性约束的最优控制问题，而且也可以用来求解控制函数 U(t)受到闭集性约束条件的最优控制问题。这就意味着最大值原理放宽了对控

21、制函数 U(t)的要求。（2）最大值原理没有提出哈密顿函数 H 对控制函数 U(t)的可微性的要求，因此，其应用条件进一步放宽了。并且，由最大值原理所求得的最优控制 U(t)使哈密顿函数 H 达到全局、绝对最大值，而由古典变分法的极值条件H/ U=0 所得到的解是 H 的局部、相对最大值或驻值。因此，最大值原理将古典变分法求解最优控制问题的极值条件作为一个特例概括在自己之中 。（3）最大值原理是最优控制问题的必要条件，并非充分条件。也就是说，由最大值原理所求得的解能否使性能泛函 J 达到极小值，还需要进一步分析与判定。但是，如果根据物理意义已经能够断定所讨论的最优控制问题的解是存在的，而由最大

22、值原理所得到的解只有一个，那么，该解就是最优解。实际上，我们遇到的问题往往属于这种情况。（4）利用最大值原理和古典变分法求解最优控制问题时，除了控制方程的形式不同外，其余条件是相同的。一般来说，根据最大值原理确定最优控制 U*(t)和最优轨线 X*(t)仍然需要求解两点边界值问题。这是一件复杂的工作。2.2 最小值原理的几种具体形式定理 2.2.1(时不变情况) 给定系统的状态方程：（2.18）的初态 X(t0)=X0 和 终端时刻 tf 固定，终端状态 x(tf)自由，控制函数的约束条件（2.19）要求从满足约束条件（2.19）的容许控制中，确定一最优控制 U*(t)，使性能泛函取得最小值（

23、2.20）定义 Hamilton 函数为：（2.21）式中 为待定的 n 维拉格朗日乘子向量。欲使性能指标达最小值，以实现最优控制的必要条件为：（1）正则方程组状态方程（2.22）协态方程 （2.23）（2）极值条件)(,(tuxft0,fU0()()(),ftfJutxtLxtudtTnttt )(,.)(21)(,)(tuxfHtxX)(,)(min)(,)(*)(* tutxHtutxHtu（2.24）（3）约束条件（2.25）（4）横截条件（2.26） 定理 2.2.2(时变情况) 给定系统的状态方程：（2.27）的初态 X(t0)=X0 和 终端时刻 tf 固定，终端状态 x(tf)

24、自由，控制函数的约束条件（2.28）要求从满足约束条件（2.28）的容许控制中，确定一最优控制 U*(t)，使性能泛函取得最小值（2.29）定义 Hamilton 函数为：（2.30）其中 为待定的 n 维拉格朗日乘子向量。欲使性能指标达最小值，以实现最优控制的必要条件为：（1）正则方程组状态方程 （2.31）协态方程 （2.32）（2）极值条件（2.33）(3)端点约束 （2.34）（4）横截条件 ()()ffxtt),()(tuxft0,fU0()(),(),ftfJutxtLxtutd),()( ),(,tuxft tHTTnttt )(,.)(21,XfU()t),(),(min),(

25、,*)(* ttuxHttuxHtu0*)(xt(),()ffttx（2.35）定理 2.2.3(时不变末值型性能指标末端时刻自由的情况) 给定系统的状态方程：（2.36）的初态 X(t0)=X0 固定和 终端时刻 tf 未知，终端状态 x(tf)自由，控制函数的约束条件（2.37）要求从满足约束条件（2.37）的容许控制中，确定一最优控制 U*(t)，使性能泛函取得最小值（2.38）定义 Hamilton 函数为：（2.39）式中 为待定的 n 维拉格朗日乘子向量。欲使性能指标达最小值，以实现最优控制的必要条件为：（1）正则方程组状态方程（2.40）协态方程（2.41）（2）极值条件（2.4

26、2）（3）端点约束 （2.43）（4）横截条件（2.44）（2.45）（2.46）)(,(tuxft 0,fU()(),fJutxt ),()(),(),( tuxftttHTTnttt )(,.)(21)(,)(tuxftxX)(,)(min)(,)( *)(* tutxHtutxHtu0*)(t(),()ffxtt固 定 时 ）自 由 时 ）ffff ffff tconstutxHtutxH()(,),()(,)( 0* *说明：积分型性能指标改变了 Hamilton 函数的形式，它与末值型性能指标的 Hamilton 函数是不同的，但与复合型性能指标的 Hamilton 函数是相同的。由

27、此可见，末值型性能指标并不反映在 Hamilton 函数中，但末值型性能指标会影响终端边界条件（横截条件）。同样，若末端状态受约束，也会影响终端边界条件（横截条件），具体结论与第二章的结论相同。求解最优控制问题的基本步骤：1、假设协态变量，构造 Hamilton 函数；2、写出正则方程组，根据初始条件及终端条件（横截条件）找出解最优控制的边界条件；3、按极值必要条件求出使 Hamilton 函数为最小的 u*；4、将所得的 u*与正则方程组联立，并利用边界条件求解有关常数项，可得 u*与 x*。第三章 动态规划及其在时间最短控制问题动态规划法是美国学者贝尔曼于 1957 年提出来的，它与极小值

28、原理一样，是处理控制变量有有界闭集约束时，确定最优控制解的有效数学方法。从本质上讲，动态规划是一种非线性规划，其核心是贝尔曼的最优性原理。这个最优性原理可归结为一个基本递推关系式，从而使决策过程连续地转移，可将一个多级决策过程化为多个单级决策过程，使其求解简化。利用动态对话求解控制有约束的最优控制问题特别方便，但也受到维数问题的限制，其应用有一定的局限性。3.1 多级决策问题与穷举法相比，动态规划法的计算工作量大为减少。对于多阶段、多决策（每段不是两个决策而是多个决策）问题，动态规划的优越性就更加突出。因此，它对于处理路程或过程分为多段，每段都要做出决策才能确定过程继续演化的所谓多级决策问题，

29、是一个很有前途的方法。动态规划法求解最优问题的思路是，从后往前倒着计算，确定每点到终点的最优路线。动态规划法可将一个复杂的、难以求解的多级决策问题，转化为一系列简单的、易于求解的多个单级决策问题来处理。这在数学上称为不变嵌入原理。对于多级决策问题来说，最优路线和最优决策序列具有一个重要的性质：最优性原理，它是动态规划的理论基础3.2 离散动态规划最优性原理：在一个多级决策问题中的最优策略具有这样的性质，不论初始状态和初始决策如何，当将其中的任何一个状态再作为初始状态时，则余下的策略，对此必定也是一个最优策略。具体地说，如果有一个初始状态为 X(0)的 N 级决策问题，其最优决策为 U(0),U(1),U(N1),那么，对于以 X(j)(j=1,2, N1)为初始状态的 Nj 级决策问题来说，策略 U(j), U(j+1),U(N1)必定也是最优策略。