第7章马尔可夫过程与泊松过程7.1马尔可夫过程1引例例1:随机游动问题。质点在一直线上作随机游动,如果某一时刻质点位于点i,则下一步质点以概率p向左移动一格达到点i-1,以概率(1-p)向右移动一格达到点i+1。用X(n)表示时刻质点的位置,则X(n)是一随机过程。在时刻n+1质点所处的位置X(n+1)只与时刻n质点的位置X(n)有关,而与n以前的位置X(n-1)X、X(1)无关。例2:遗传病问题。某些疾病常遗传给下一代,但不隔代遗传。第n+1代是否有此种疾病只与第n代是否有此疾病有关,而与n代以前的健康状况无关。2马尔可夫过程描述性概念一般而言,若随机过程在时刻t所处的状态X(t)为已知的条件下,过程在时刻tnn(tt)所处的状态X(t)只与过程在时刻t的状态X(t)有关,而与t以前的状态无关,nnnn则称此过程为马尔可夫过程。3马尔可夫过程分类马尔可夫过程分为四类:(1)离散马尔可夫链:时间t取离散值t,t,t,可直接记为t二1,2,n,。12n状态X(n)取离散值a,a,a,