1第三章第三章 马尔可夫链马尔可夫链1.马尔可夫链定义马尔可夫链定义2.一步转移概率及多步转移概率一步转移概率及多步转移概率3.初始概率及绝对概率初始概率及绝对概率4.Chapman-Kolmogorov方程方程5.马尔可夫链状态分类马尔可夫链状态分类6.遍历的马尔可夫链及平稳分布遍历的马尔可夫链及平稳分布2马尔可夫过程马尔可夫过程将来的状态只与当前状态有关，与过去状态无关将来的状态只与当前状态有关，与过去状态无关，即无后效性，即无后效性3马尔可夫链定义马尔可夫链定义定义：设有随机过程定义：设有随机过程Xn,n T，若对于任意的整数，若对于任意的整数n T和任意的和任意的 i0,i1,in+1I，条件概率满足，条件概率满足则称则称Xn,n T为马尔可夫链，简称马氏链为马尔可夫链，简称马氏链时间和状态都离散的马尔可夫过程称为马尔可夫链马尔可夫链4定义定义称条件概率称条件概率为马尔可夫链为马尔可夫链Xn,n T在时刻在时刻n的一步转移概率，其中的一步转移概率，其中i,j I，简称转移概率。，简称转移概率。定义定义若对任意的若对任意的i,j I，马尔可夫链，马尔可夫链Xn,n T的转移概率与
