马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用 5 马尔可夫过程有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 状态空间的性质 5 马尔可夫过程5.1 马尔可夫过程的概念 5.1.1 有关定义 随机过程马尔可夫性：（物理描述） 当随机过程在时刻 t i 所处的状态为已知的条件下，过 程在时刻 t(t i )所处的状态，与过程在t i 时刻以前的状态无 关，而仅与在t i 时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可 夫过程。5.1 马尔可夫过程的概念 5.1.1 有关定义 马尔可夫过程定义：（条件概率） 给定随机过程X(t), t T,若对于任意n(3)个时刻 t 1 t 2 t n-1 t n T, 有 PX(t n ) x n | X(t 1 ) = x 1 , X(t 2 ) = x 2 , , X(t n-1 ) = x n-1 = PX(t n ) x n | X(t n-1 ) = x n-1 或 Fx n | x
