随机过程-习题-第2章.doc

1、随机过程习题 第 2 章2-12.1 设 是一马尔可夫过程，又设 。试证明：)(t knnttt 11 )/(),/( 1/,/1tknntt xfxxfkn即一个马尔可夫过程的反向也具有马尔可夫性。证明：首先，由条件概率的定义式得 ),(),/( 1,1,/ 11 knttknntt xfxxf knkn 根据马尔可夫性将上式中的分子和分母展开，并化简得 )(/ )()/()/ (/(),/1/ 112/1/,1 1211 nttt ntntknt ttntknt kxff xfxfxf fxfnkn 于是， )/()(,),/( 1/1,1,/ 11 ntntknntt xfxfxxf n

2、kn2.2 试证明对于任何一个马尔可夫过程，如“现在”的 值为已知，则该过程的(t“过去”和“将来”是相互统计独立的，即如果有 ，其中 代表“现在” ，321t2t代表“过去” ， 代表“将来” ，若 为已知值。试证明：1t3t 2)(xt)/()/,( /231/, 2312 xffxf tt证明：首先，由条件概率的定义式得 )(,)/,(21,231/, 323 xfxf tt然后，根据马尔可夫性将上式中的分子展开，并化简得 )(,)/()(/)/()/,( 21,23/ 12/3/231/, 1223 xfxffxffxf tttttt随机过程习题 第 2 章2-2)/()/(21/3/

3、2xfxftt2.3 若 是一马尔可夫过程， 。试证明：)(t1mttt )/,(),/,( 21/,2,/, 2121 mttmttt xxfxxfm 证明：首先，利用性质： 得|CBPACBP ),/(),/(, 21,/121,/, 2121 mmttmmttt xxfxxfm 于是，由马尔可夫性得 )/(),/( ,/1/12,/ 2,12 mtmttt xfxxfm再利用性质 得|CABPBCAP=),/,(21,/,21ttt xxfmm )/,(21/,21tt xxfm2.4 若有随机变量序列 ，且 之间相互统计独立， 的 ,2n ,nn概率密度函数为 ， 。定义另一随机变量序

4、列)()(nxff )21(0E如下：n nn213321试证明：（1）序列 具有马尔可夫性； ,21（2） 1112 /,/ nnnn yEyyE随机过程习题 第 2 章2-3(1) 证明：由于 相互统计独立，其 n 维联合概率密度函数为 ,21n )()(),( 2121 nnyffyfyf 由随机变量序列 与 的关系可得如下的雅可比行列式n110J所以， 的 n 维联合概率密度函数为 ,21 )()(),( 112121 nxfxfxxf 于是， )( )()()( ),/(1 2112 1,/211n nnnxf xfxf ffn 由于 21211211 221 d)()()( d,(

5、,2 nnn nnn xxfxfxfxff 且 21211211 d)()()d,)( nnnn xxfxfxf 所以， )()/(11/1 nnff nn因此 )/(),/( 1/12,/ 112 nxfxxf nn 随机过程习题 第 2 章2-4所以，序列 具有马尔可夫性。 ,21n(2) 证明：根据条件均值的定义得 /)/(),/112,/21nnnnnnyEdyf dyyyE于是，由给定的关系 nn21和 0nE 1121 ,/ nnnn yEyy2.5 设有随机过程 (n) (n=1，2，3，)，它的状态空间 I：x：0x1是连续的，它的参数 T 为离散的， T=n (n=1，2，3

6、，)。设 (1)为（0，1）间均匀分布的随机变量，即 (1)的概率密度为 )(0)()( 111其 它 值xxff (1), (2), (m)的联合概率密度为值其 它 immmxxf xfxf ,0),( )1(1),),21,2 12),2(),21,2 (1) 求 (2)的边际概率密度 f2(x2)；(2) 试问该过程是否为马尔可夫过程；(3) 求转移概率密度 f2|1(x2| x1)，f m|m1(xm| x m 1)。(4) 求 。3,4)1(P随机过程习题 第 2 章2-5(1) 解：由给出的 (1), (2), (m)的联合概率密度函数可知 )10(1,221xxf其分布区域如右图

7、加黑部分所示。因此， 的边际概率密度函数为)值其 它 ix xdf ,01 (0 ln)(1222(2) 证明：因为 121,2121,21| ),(),|( mmm xxfxxf (0 xm xm1 x1 1)显然, 只与 xm1 有关，所以该过程是马尔可夫过程。1,2|mf(3) 解：由(2)得 121,21|1| ),|()|( mmxxfxf 其中，0 xm xm11 (m=1，2，3，)。(4) 解：由给出的 (1)， (2)， (m)的联合概率密度函数可知其 它 值,0)1(,1),( 232321, xxxf于是， 131322313, lnd),()(xxxff12x21x1随

8、机过程习题 第 2 章2-6 其 它 值,0)10(ln133xx所以， 31)2ln()3l(2dl1ln31)(,4)1(3/0343/01xxP2.6 设有一参数离散、状态连续的随机过程 ，它的状态空间为,2,，又 的概率密度函数为0;:xI)1(值其 它 10)()(111 xexffx的 m 维联合概率密度为)(,)2,1( 值其 它 ixxf xxxf m mm0),( )0,0(ep,21,2 2111221, （1） 求边际概率密度 ),(121, mf（2） 求 的概率密度；)2(（3） 说明该过程是马尔可夫过程，并求其转移概率密度 )/(1/1mtxfm(1) 解：由 m

9、维联合概率密度可得 m-1 维联合概率密度 )(exp )exp(exp),( 12121 010 2112,1 xx dxxxf mm m (2) 解：同(1)理可求得：随机过程习题 第 2 章2-7)(exp),( 12332121,21 xxxf mmmm )(e),( 12121xxf 所以， 值其 它 2201212 ,00,)()(exp)( xxdxxf(3) 解：由条件概率的定义可得 )ep(),(),/( 1121,2121,21/ mmmmxfxxf 由此可见，当 m-1 时刻的状态确定时，m 时刻的状态与以前时刻的状态无关。所以，该过程为马尔可夫过程。其转移概率密度为 值

10、其 它 immmxxxxf ,00,)ep(/ 1111/2.7 有三个黑球和三个白球。把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0，1，2，3。现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过 n 次交换，过程的状态为 (n=1，2，3，4，)。)(1) 试问此过程是否为马尔可夫链；(2) 计算它的一步转移概率矩阵。(1) 证明：显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关。因此，该过程是为马尔可夫链。(2) 解：以甲袋中的白球数 i 作为该

11、过程的状态。当 和 3 时，过程状态由 i 转移0i到 j 概率为 值其 它， jiiijiijiinjP0)1(,3,2)1(,3)(|)1(2随机过程习题 第 2 章2-8当 i=0 时， ， ；当 i=3 时， ， 。于是，一10P)1(0jj 13P)2(03jj步转移概率矩阵为： 0109491P2.8 设 是一马尔可夫链，它的状态转移空间为 I：0 ，1，2，它的初始状态)(n的概率分布为 ， ， ；它的一步转移概410P21)0(P42)0(P率矩阵为 4310P(1) 计算概率 ；)2(,1,0)(P(2) 计算 。)2(01p(1) 解：由马尔可夫性可得 0)()0(|1)1

12、(|2(1)(,)( PPPP其中， 3)(|()(1p40|1)P于是 163)2(,0)( (2) 解：二步转移概率矩阵为随机过程习题 第 2 章2-9483126754310431(2)P所以， 167)2(0p另一种解法是根据切普曼-柯尔莫哥洛夫方程得 167403420)1()(1 iipp2.9 设有马尔可夫链，它的状态转移空间为 I：0，1，2，它的一步转移概率矩阵为 01pP(1) 试求 ，并证明 ；(2)P(4)2(2) 求 。1,n(1) 证明： 和 分别为(2)4 ppp010101(2)P ppp010101(2)(4)P所以，随机过程习题 第 2 章2-10(4)2P(2) 解：实际上，一步转移概率矩阵 可以经过行列变换为 01p由此可见，这是一个周期为 2 的马尔可夫链。所以，当 n 为奇数时01p)(nPn 为偶数时 p01)(nP2.10 设有马尔可夫链，它的状态转移空间为 I：0，1 ，它的一步转移概率矩阵为 )10(1Ppp试用数学归纳法证明 nnn pp)12()12(P)(证明：当 n=1 时，显然是成立的。假设 成立，即k 11)1( )2()2(Pkkk pp