第六章马尔可夫链Markov 过程过程 安德雷安德雷.安德耶维奇安德耶维奇.马尔可夫马尔可夫 (A.A.Markov):俄数学家，俄数学家，18561922 概率和统计领域专家。概率和统计领域专家。当年当年Markov研究普希金诗歌里元音字母和辅研究普希金诗歌里元音字母和辅音字母交替出现的规律时提出了音字母交替出现的规律时提出了Markov过程的数过程的数学模型学模型 Markov过程过程80年代兴起，在现代工程、自然年代兴起，在现代工程、自然科学、社会科学中应用广泛。科学、社会科学中应用广泛。Markov过程过程2023/1/21马尔可夫性马尔可夫性通俗地说，就是在知道过程现在的条件下，其通俗地说，就是在知道过程现在的条件下，其将来的条件分布不依赖于过去，则称将来的条件分布不依赖于过去，则称具有马尔可夫（具有马尔可夫（Markov)性。性。定义设定义设是一个随机过程，如果是一个随机过程，如果在在t0时刻所处的状态为已知，它在时刻所处的状态为已知，它在时刻时刻 所处状态的条件分布与其在所处状态的条件分布与其在 t0 之前之前 所处的状态无关。所处的状态无关。2.马尔可夫过程马尔可夫过程
