第7章马尔可夫过程与泊松过程7.1马尔可夫过程1引例例1：随机游动问题。质点在一直线上作随机游动，如果某一时刻质点位于点i，则下一步质点以概率p向左移动一格达到点i-1，以概率(1-p)向右移动一格达到点i+1。用X(n)表示时刻质点的位置，则X(n)是一随机过程。在时刻n+1质点所处的位置X(n+1)只与时刻n质点的位置X(n)有关，而与n以前的位置X(n-1)X、X(1)无关。例2：遗传病问题。某些疾病常遗传给下一代，但不隔代遗传。第n+1代是否有此种疾病只与第n代是否有此疾病有关，而与n代以前的健康状况无关。2马尔可夫过程描述性概念一般而言，若随机过程在时刻t所处的状态X(t)为已知的条件下，过程在时刻tnn(tt)所处的状态X(t)只与过程在时刻t的状态X(t)有关，而与t以前的状态无关,nnnn则称此过程为马尔可夫过程。3马尔可夫过程分类马尔可夫过程分为四类：(1)离散马尔可夫链：时间t取离散值t，t，t，可直接记为t二1,2,n,。12n状态X(n)取离散值a，a，a，
