1、第 6章 动态规划第 1节 多阶段决策过程及实例第 2节 动态规划的基本概念和方程第 3节 动态规划的最优性原理和最优性定理第 4节 动态规划和静态规划的关系第 5节 动态规划应用举例第 1节 多阶段决策过程及实例动态规划研究的对象是多阶段决策问题。 所谓多阶段决策问题是指一类活动过程，它可以分为若干个相互联系的阶段，在每个阶段都需要作出决策。这个决策不仅决定这一阶段的效益，而且决定下一阶段的初始状态。每个阶段的决策确定以后，就得到一个决策序列，称为策略。多阶段决策问题就是求一个策略，使各阶段的效益的总和达到最优。多阶段决策问题的典型例子：1 . 生产决策问题：企业在生产过程中，由于需求是随时
2、间变化的，因此企业为了获得全年的最佳生产效益，就要在整个生产过程中逐月或逐季度地根据库存和需求决定生产计划。2. 机器负荷分配问题：某种机器可以在高低两种不同的负荷下进行生产。在高负荷下进行生产时，产品的年产量 g和投入生产的机器数量 u1的关系为g=g(u1)1 2 n状态决策状态决策状态 状态 决策这时，机器的年完好率为 a， 即如果年初完好机器的数量为 u， 到年终完好的机器就为 au, 0a1。在低负荷下生产时，产品的年产量 h和投入生产的机器数量 u2的关系为h=h(u2)假定开始生产时完好的机器数量为 s1。 要求制定一个五年计划，在每年开始时，决定如何重新分配完好的机器在两种不同
3、的负荷下生产的数量，使在五年内产品的总产量达到最高。相应的机器年完好率 b, 0 b1。 3. 航天飞机飞行控制问题：由于航天飞机的运动的环境是不断变化的，因此就要根据航天飞机飞行在不同环境中的情况，不断地决定航天飞机的飞行方向和速度（状态），使之能最省燃料和实现目的（如软着落问题）。不包含时间因素的静态决策问题（本质上是一次决策问题）也可以适当地引入阶段的概念，作为多阶段的决策问题用动态规划方法来解决。 4 . 线性规划、非线性规划等静态的规划问题也可以通过适当地引入阶段的概念，应用动态规划方法加以解决，后面将详细介绍。5 . 最短路问题 ：给定一个交通网络图如下，其中两点之间的数字表示距离
4、（或花费），试求从 A点到 G点的最短距离（总费用最小）。6AB1B2C1C2C3C4D1D2D3E1E2E3F1F2G531368768353384221233355266431 2 3 4 5 6生产存贮决策问题最短路问题机器负荷分配问题典型 问题 :第 2节 动态规划的基本概念和基本方程2.1 动态规划的基本概念但要便于把问题的过程能转化为多阶段决策 的过程。状态变量的取值有一定的允许集合或范围，此集合称为 状态允许集合 。 1. 阶段、阶段变量把所给问题的过程，恰当地分为若干个相互联系的 阶段 ; 描述阶段的变量称为 阶段变量 ，常用 k表示；阶段的划分，一般是按时间和空间的自然特征来
5、划分 ；2. 状态、状态变量状态表示每个阶段开始所处的自然状态或客观条件。 通常一个阶段有若干个状态。 描述过程状态的变量称为 状态变量 ，常用 sk表示第 k阶段的状态。一个数、一组数、一个向量在实际问题中决策变量的取值往往在某一范围之内，此范围称为 允许决策集合 。常用 Dk(sk)表示第 k阶段从状态 sk出发的允许决策集合，显然有 一个数一组数一个向量在最优控制中也称为 控制 。描述决策的变量，称为 决策变量决策变量是状态变量的函数常用 uk(sk) 表示第 k阶段当状态为 sk时的决策变量。3. 决策、决策变量过程的某一阶段、 某个状态 , 可以做出不同的决定(选择 ),决定下一阶段的状态，这种决定称为 决策 。uk(sk) Dk(sk)系统在某一阶段的状态转移不但与系统的当前的状态和决策有关，而且还与系统过去的历史状态和决策有关。其 状态转移方程 如下（一般形式）图示如下：状态转移方程 是确定过程由一个状态到另一个状态的演变过程。如果第 k阶段状态变量 sk的值、该阶段的决策变量一经确定，第k+1阶段状态变量 sk+1的值也就确定。4. 多阶段决策过程可以在各个阶段进行决策，去控制过程发展的多段过程，其发展是通过一系列的状态转移来实现的。
