1、一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。什么时候用应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依据。马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第 n 季度是畅销还是滞销，用一个随机变量 Xn便可以
2、了，但要描述未来所有时期的情况，则需要一系列的随机变量 X1， X2， Xn，称 Xt，t T ， T 是参数集为随机过程， Xt 的取值集合称为状态空间若随机过程 Xn 的参数为非负整数， Xn 为离散随机变量，且 Xn 具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）所谓无后效性，直观地说，就是如果把 Xn 的参数 n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关对具有 N 个状态的马氏链，描述它的概率性质，最重要的是它在 n 时刻处于状态 i 下一时刻转移到状态 j 的一步转移概率： NjinpiXjPjinn ,21,)()|(
3、1 若假定上式与 n 无关，即 ，则可记为 （此时，称0pjijiji jip过程是平稳的），并记（1）NNNppP 212112称为转移概率矩阵转移概率矩阵具有下述性质：（1） 即每个元素非负Njipji ,21,0（2） 即矩阵每行的元素和等于 1iNjji ,1如果我们考虑状态多次转移的情况，则有过程在 n 时刻处于状态 i， n+k 时刻转移到状态 j 的 k 步转移概率： NjipiXjPkjinkn ,21,)()|( 同样由平稳性，上式概率与 n 无关，可写成 记ji（2）)()(2)(1 )(2)()(2 1121)( kNkNk kkk Nk ppP 称为 k 步转移概率矩阵
4、其中 具有性质：)(kjip； Npkji ,21,0)( Nipjkji ,21,1)(一般地有，若 为一步转移矩阵，则 k 步转移矩阵P（3）)()(2)(1 )(2)()(2 1121)( kNkNk kkk Nk pp （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用二是统计估算法，现通过实例介绍如下例 3 记录了某抗病毒药的 6 年 24 个季度的销售情况，得到表 1试求其销售状
5、态的转移概率矩阵表 1 某抗病毒药 24 个季度的销售情况季度 销售状态 季度 销售状态 季度 销售状态 季度 销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销)6 2(滞销) 12 2(滞销) 18 1(畅销) 24 1(畅销)分析表中的数据，其中有 15 个季度畅销，9 个季度滞销，连续出现畅销和由畅
6、销转入滞销以及由滞销转入畅销的次数均为 7，连续滞销的次数为 2由此，可得到下面的市场状态转移情况表（表 2）表 2 市场状态转移情况表 下季度药品所处的市场状态1（畅销） 2（滞销）本季度药品所 1（畅销） 7 7处的市场状态 2（滞销） 7 2现计算转移概率以频率代替概率，可得连续畅销的概率： 1 70.51p连 续 出 现 畅 销 的 次 数出 现 畅 销 的 次 数分母中的数为 15 减 1 是因为第 24 季度是畅销，无后续记录，需减 1同样得由畅销转入滞销的概率： 12 70.51p畅 销 转 入 滞 销 的 次 数出 现 畅 销 的 次 数滞销转入畅销的概率： 21 70.89p
7、滞 销 转 入 畅 销 的 次 数出 现 滞 销 的 次 数连续滞销的概率：市场状态次 数市 场 状 态220.9p连 续 滞 销 的 次 数出 现 滞 销 的 次 数综上，得销售状态转移概率矩阵为： 2.078521pP从上面的计算过程知，所求转移概率矩阵 P 的元素其实可以直接通过表 2 中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可： 71p2172pMatlab 程序：format ratclca= 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1;for i=1:2for j=1:2f(i,j)=length(findstr
8、(i j,a);endendfni=(sum(f)for i=1:2p(i,:)=f(i,:)/ni(i);endp由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有 m 种状态S1， S2， ， Sm，根据系统的状态转移的历史记录，得到表 3 的统计表格，以 表示系统jip从状态 i 转移到状态 j 的转移概率估计值，则由表 3 的数据计算估计值的公式如下：表 3 系统状态转移情况表系统下步所处状态S1 S2 Sm状态次 数 状 态系统 S1 n11 n12 n1m本步 S2 n21 n22 n2m所处状态 Sm n m1 n m2 n mmjinpmkijiji ,21,1（3）
9、带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本假定连续畅销时盈 r11元，连续滞销时亏本 r22元，由畅销转为滞销盈利 r12元，由滞销转为畅销盈利 r21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链对于一般的具有转移矩阵 NNNppP 21 22 1121的马氏链，当系统由 i 转移到 j 时，赋予利润 rij（ i， j=1，2， N），则称（5）NNrrrR 212
10、21121为系统的利润矩阵， rij 0 称为盈利， rij 0 称为亏本， rij = 0 称为不亏不盈随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量 、 的概率分布分别为：)1(x)(2 )1(x r11 r12)1(2xr21 r22概 率 p11 p12 概 率 p21 p22其中 p11+ p12 = 1 ， p21+ p22 = 1如果药品处于畅销阶段，即销售状态为 i =1，我们想知道，经过 n 个季度以后，期望获得的利润是多少
11、？为此，引入一些计算公式首先，定义 为抗病毒药现在处于 ，经过 步转移之后的总期望利润，)(niv)2,1(i则一步转移的期望利润为： 211)1()1( jjiiiii prrpxEv其中 是随机变量 的数学期望)(1ixE)(i二步转移的期望利润为： 21)()1(21)(1)2()2( jjijiiiiiii pvrpvrpvrxv其中随机变量 （称为二步利润随机变量）的分布为：)(i 2,)(1()2jpvrxPijii例如，若， 6.045739R则抗病毒药销售的一步利润随机变量： )1(x9 3 )1(2x3 -7概 率 0.5 0.5 概 率 0.4 0.6抗病毒药畅销和滞销时的
12、一步转移的期望利润分别为： 65.03.9)(121)1( prxEv 7422)(2 二步利润随机变量为： )2(1x9+6 3-3 )2(x3+6 -7-3概 率 0.5 0.5 概 率 0.4 0.6抗病毒药畅销和滞销时的二步转移的期望利润分别为： 12)(12)1()2(1)2(1 pvrpvrxEv 5.7035.0692)1(21)(21)()2( vrvrxv 4.6.4.3一般地定义 k 步转移利润随机变量 的分布为：),()NixkjpvrxPjijiki ,21()1)则系统处于状态 i 经过 k 步转移后所得的期望利润 的递推计算式为：)(kivjikjNjiii prx
13、Ev)()(1(1)( （6）Njjikijjikji pvvpr1)()(1)(1当 k=1 时，规定边界条件 0)(iv称一步转移的期望利润为即时的期望利润，并记Niqi ,21,)1(可能的应用题型题型一、市场占有率预测例题 1 在购买该药的总共 1000 家对象（购买力相当的医院、药店等）中，买 A、B、C 三药厂的各有 400 家、300 家、300 家，预测 A、B、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。顾客订货情况如下表 5：表 5 顾客订货情况表下季度订货情况 合计A B CA 160 120 120 400B 180 90 30 300来自C 180 30 90
14、 300合计 520 240 240 1000模型建立与求解一、问题分析目前的市场占有情况为：在购买该药的总共 1000 家对象（购买力相当的医院、药店等）中，买 A、B、C 三药厂的各有 400 家、300 家、300 家，那么 A、B、C 三药厂目前的市场占有份额分别为：40%、30%、30%称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布此外，我们需要查清使用对象的流动情况。流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出。由题已知顾客订货情况如下表 5表 5 顾客订货情况表下季度订货情况 合计A B CA 160 120 1
15、20 400B 180 90 30 300来自C 180 30 90 300合计 520 240 240 10002、模型的建立2.1 模型构建假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3 分别表示顾客买 A、B、C 三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表 5，我们可以得模型的转移概率矩阵： 3.01.6.0.4.39031812406323123ppP矩阵中的第一行（0.4，0.3，0.3）表示目前是 A 厂的顾客下季度有 40%仍买 A 厂的药，转为买 B 厂和 C 厂的各有 30%同样，第二行、第三行分别表示目
16、前是 B 厂和 C 厂的顾客下季度的流向由 P 我们可以计算任意的 k 步转移矩阵，如三步转移矩阵： 25.04.50. .96.3.1.06.4.33)(从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况如从第二行（0.504，0.252，0.244）知，B 厂的顾客三个季度后有 50.4%转向买 A 厂的药，25.2%仍买B 厂的，24.4%转向买 C 厂的药设 表示预测对象 k 季度以后的市场占有率，初始分布则为),(3)21)kkkpS，市场占有率的预测模型为,)0()0)(p（7）PSSkk)1()0()(已知 ，由此，我们可预测任意时期 A、B、C 三厂家的市场占)3.0,4.(
17、)0S有率例如，三个季度以后的预测值为： 25.04.50. .96.)3.04(),(3)0(3()231)3 PSpS)96.4.508.(大致上，A 厂占有一半的市场，B 厂、C 厂各占四分之一模型（7）可推广到 N 个状态的情形：（8）kNNNNkk pppPSS 21 22 1121)0()(201)0()1()( ,如果我们按公式（7）继续逐步求 A、B、C 三家的市场占有率，会发现，当 k 大到一定的程度， S (k) 将不会有多少改变，即有稳定的市场占有率，设其稳定值为，满足 ,(321p1321p事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出
18、现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关如何求出这种稳定的市场占有率呢？2.2 模型求解以 A、B、C 三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程 S = S P，即 3.01.6.0.4.),(),(321321pp由此得 32132.0.01.4.pp经整理，并加上条件 ，得21p1p0.70.3.6.63213210.4 0.3 0.3，0.6 0.3 0.1,0.6 0.1 0.3上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：， ， 5.01p25.25.03p这就是 A、B、C 三家的最终市场占有率一般 N 个状态的稳定市场占有率（稳态概率） 可通过解方程组),(21NS
