1、随机过程与排队论数学科学与计算技术学院胡朝明Email： math_ *上一讲内容回顾马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链Date 2计算机科学与工程学院 顾小丰本讲主要内容离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布 、极限分布 遍历性 平稳 性Date 3计算机科学与工程学院 顾小丰3.2 离散参数马氏链状态空间 E和参数集 T都是离散的马尔可夫过程称为 离散参数马氏链 ，简称 马氏链 。即设 X(n),n=0,1,2, 为随机序列，状态空间E=0,1,2, 。 如果对于任意非负整数 k、 n1n2 n
2、jm及 in1,in2, inj,im,im+kE马尔可夫性PX(m+k)=im+k|X(n1)=in1,X(n2)=in2, X(nj)=inj,X(m)=im PX(m+k)=im+k|X(m)=im成立，则称 X(n),n=0,1,2, 为 离散参数马尔可夫链 ，简称 马氏链 。Date 4计算机科学与工程学院 顾小丰k步转移概率设 X(n),n=0,1,2, 为马氏链， E=0,1,2, ， 称条件概率pij(m,k) PX(m+k)=j|X(m)=i为马氏链 X(n),n=0,1, 在 m时刻的 k步转移概率 .k步转移概率的直观意义是： 质点在时刻 m时处于状态 i， 再经过 k步
3、 (k个单位时间 )处于状态 j的条件概率 。特别地， k=1时，pij(m,1) PX(m+1)=j|X(m)=i称为 一步转移概率 ，简称 转移概率 。Date 5计算机科学与工程学院 顾小丰k步转移矩阵称矩阵为马氏链 X(n),n=0,1, 在 m时刻的 k步转移矩阵。一步转移矩阵 P(m,1)简称 转移矩阵 。由转移概率的定义，显然有：Date 6计算机科学与工程学院 顾小丰齐次马尔可夫链若马氏链 X(n),n=0,1,2, 的转移概率 pij(m,k)与 m无关，即pij(m,k) PX(m+k)=j|X(m)=i pij(k)；pij(m,1) PX(m+1)=j|X(m)=i p
4、ij(1) pij；则称 X(n),n=0,1,2, 为 齐次马尔可夫链 ，简称 齐次马氏链 。 齐次马氏链的 k步转移矩阵记为：P(m,k) P(k) (pij(k)i,jE一步转移矩阵，简称 转移矩阵 ，记为：P(m,1) P(1) P (pij)i,jE齐次马氏链的转移概率具有如下性质：0pij(k)1， 0pij1，Date 7计算机科学与工程学院 顾小丰例 1 贝努里序列如上节例 2所述，贝努里序列是一个齐次马氏链，其转移矩阵为一般地， 独立同分布的离散随机变量序列X(n),n=0,1,2, 都是齐次马氏链 。 Date 8计算机科学与工程学院 顾小丰例 2 随机游动一质点在数轴上的
5、整数点上作随机游动的，以 X(n)表示时刻 n质点的位置。质点在某一 时刻 m时处于状态 i，即 X(m)=i， 则下一步以概率 q左移到状态 i-1，即 pi,i-1(m,1)=q； 而以概率 p右移到状态 i+1，即 pi,i+1(m,1)=p。 因而质点将来所处的状态 X(m+1),X(m+2),X(m+k) 等仅与现在所处的状态 X(m)=i有关，而与过去所处的状态无关。因此，随机游动 X(n),n=0,1,2, 是齐次马氏链。随机游动的统计特征由它在边界的特点决定，下面给出几种特殊的情形。Date 9计算机科学与工程学院 顾小丰1.自由 (无限制 )随机游动状态空间 E ,-2,-1,0,1,2, 两端无限制。转移概率：pi,i-1 q， pi,i+1 p， 其余 pi,j 0， ji-1,i+1转移矩阵：Date 10计算机科学与工程学院 顾小丰
