精选优质文档-倾情为你奉上马尔科夫过程马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是 S1,S2,S3,.SN。我们现在用q1,q2,q3,qn来表示系统在t=1,2,3,n时刻下的状态。在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(SN)表示t=1时系统状态为SN的概率。马尔科夫模型有两个假设：1.系统在时刻t的状态只与时刻t-1处的状态相关；（也称为无后效性）2.状态转移概率与时间无关；（也称为齐次性或时齐性）第一条具体可以用如下公式表示：P(qt=Sj|qt-1=Si,qt-2=Sk,)= P(qt=Sj|qt-1=Si)其中，t为大于1的任意数值，Sk为任意状态第二个假设则可以用如下公式表示：P(qt=Sj|qt-1=Si)= P(qk=Sj|qk-1=Si)其中，k为任意时刻。下图是一个马尔科夫过程的样例图：可以把状态转移概率用矩阵A表示，矩阵的行列长度均为状态数目，ai
