第四章第四章 马尔可夫链马尔可夫链1.马尔可夫链定义马尔可夫链定义2.一步转移概率及多步转移概率一步转移概率及多步转移概率3.Chapman-Kolmogorov方程方程4.初始概率及绝对概率初始概率及绝对概率5.马尔可夫链状态分类马尔可夫链状态分类6.遍历的马尔可夫链及平稳分布遍历的马尔可夫链及平稳分布14.1 马尔可夫链的概念及转移概率马尔可夫链的概念及转移概率一、马尔可夫链的概念一、马尔可夫链的概念232、马氏链的转移概率、马氏链的转移概率称条件概率称条件概率43、一步转移概率及矩阵、一步转移概率及矩阵称为马氏链的一步转移概率矩阵称为马氏链的一步转移概率矩阵564.多步转移概率的确定多步转移概率的确定7通常我们还规定：通常我们还规定：(2)、切普曼、切普曼柯尔莫哥洛夫方程柯尔莫哥洛夫方程 （Chapman-Kolmogorov）8直观解释对照图910用矩阵形式表示为：表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。115、初始概率与绝对概率、初始概率与绝对概率写成向量形式:12(2)绝对概率与初始概率的关系绝对概率与初始概率的关系13 表明表明n时刻的绝对概率分布
