1、1工程数学第 24讲本文件可从网址http:/上下载(单击 ppt讲义后选择 工程数学 子目录 )2第十一章 马尔可夫链1 马尔可夫过程及其概率分布3在物理学中 , 很多确定性现象遵从如下演变原则 : 由时刻 t0系统或过程所处的状态 , 可以决定系统或过程在时刻 tt0所处的状态 , 而无需借助于 t0以前系统或过程所处状态的历史资料 . 如微分方程初值问题所描绘的物理过程 . 将这样的原则延伸到随机现象 , 引入 马尔可夫性 或 无后效性 : 过程 (或系统 )在时刻 t0所处的状态为已知条件下 , 过程在时刻 tt0所处状态的条件分布与过程在时刻 t0之前的状态无关 . 即已经知道过程
2、“现在 “的条件下 , 其 “将来 “不依赖于 “过去 “.4设随机过程 X(t), tT的状态空间为 I. 如果对任意 n个时间值 t1t2.tn, n3, tiT, 在条件X(ti)=xi,xiI, i=1,2,.,n-1下 , PX(tn)xn|x(t1)=x1, X(t2)=x2,.,X(tn-1)=xn-1=PX(tn)xn|X(tn-1)=xn-1, xnR, (1.1)或写成则称过程 X(t), tT具有马尔可夫性或无后效性 , 并称此过程为 马尔可夫过程 .5例 1 设 X(t),t0是独立增量过程 , 且 X(0)=0, 证明 X(t),t0是一个马尔可夫过程 .证 由 (1
3、.1)式 知 , 只要证明在已知 X(tn-1)=xn-1的条件下 X(tn)与 X(tj), j=1,2,.,n-2相互独立即可 . 而当 0tjtn-1tn, j=1,2,.,n-2时 , 增量X(tj)-X(0) 与 X(tn)-X(tn-1)相互独立 . 根据条件 X(0)=0和 X(tn-1)=xn-1, 知X(tj) 与 X(tn)-xn-1相互独立 . 此时 X(tn)与 X(tj), j=1,2,.,n-2相互独立 . 这表明 X(t)具有无后效性 , 即 X(t),t0是一个马尔可夫过程 .6由此可知 , 泊松过程是时间连续状态离散的马氏过程 , 维纳过程是时间状态都连续的马
4、氏过程 .时间和状态都是离散的马尔可夫过程称为 马尔可夫链 , 简称马氏链 , 记为 Xn=X(n), n=0, 1, 2,., 它可以看作在时间集 T1=0,1,2,.上对离散状态的马氏过程相继观察的结果 . 我们约定记链的状态空间 I=a1,a2,., aiR.7对链的情形 , 对任意的正整数 n,r和 0t1t2. trm; ti, m, n+mT1, 有其中 aiI. 记上式右端为 Pij(m,m+n), 称Pij(m,m+n)=PXm+n=aj|Xm=ai (1.3)为马氏链在时刻 m处于状态 ai条件下 , 在时刻m+n转移到状态 aj的 转移概率 . 易知8转移概率组成的矩阵 P
5、(m,m+n)=(Pij(m,m+n)称为马氏链的 转移概率矩阵 , 上式表明此矩阵的每一行元素之和等于 1.当转移概率 Pij(m,m+n)只与 i,j及时间间距 n有关时 , 把它记为 Pij(n), 即Pij(m,m+n)=Pij(n)并称此转移概率具有 平稳性 . 同时也称此链是齐次的 或 时齐的 . 以下仅限于讨论齐次马氏链.9在马氏链为齐次的情形下 , 转移概率Pij(n)=PXm+n=aj|Xm=ai (1.5)称为马氏链的 n步转移概率 , P(n)=(Pij(n)为 n步转移概率矩阵 . 在以下的讨论中特别重要的是一步转移概率pij=Pij(1)=PXm+1=aj|Xm=ai或由它们组成的一步转移概率矩阵10在上述矩阵的左侧和上边标上状态 a1,a2,.,是为了显示 pij是由状态 ai一步转移到状态 aj的概率 .
