马氏链模型

1、第十一章  马氏链模型,11.1   健康与疾病11.2   钢琴销售的存贮策略11.3   基因遗传11.4   等级结构,马氏链模型,系统在每个时期所处的状态是随机的,从一时期到下时期的状态按一定概率转移,下时期状态只取决于本时期状态和转移概率 已知现在，将来与过去无关（无后效性）,描述一类重要的随机动态系统（过程）的模型,马氏链 (Markov Chain)时间、状态均为离散的随机转移过程,通过有实际背景的例子介绍马氏链的基本概念和性质,例1.   人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状

2、态的概率为0.8, 而今年患病、明年转为健康状态的概率为0.7，,11.1   健康与疾病,人的健康状态随着时间的推移会随机地发生转变,保险公司要对投保人未来的健康状态作出估计, 以制订保险金和理赔金的数额,若某人投保时健康, 问10年后他仍处于健康状态的概率,Xn+1只取决于Xn和pij, 与Xn-1, 无关,状态与状态转移,状态转移具有无后效性,设投保时健康,给定a(0), 预测 a(n), n=1,2,设投保时疾病,n时状态概率趋于稳定值，稳定值与初始状态无关,状态与状态转移,例2.  健康和疾病状态同上，Xn=1 健康,  Xn=2 疾病,p11=0.8,

3、  p12=0.18,  p13=0.02,死亡为第3种状态，记Xn=3,健康与疾病,p21=0.65,  p22=0.25,  p23=0.1,p31=0,  p32=0,  p33=1,设投保时处于健康状态，预测 a(n), n=1,2,不论初始状态如何，最终都要转到状态3 ； 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于n>k, a1(n)=0， a2(n)=0,  a3(n)=1, 即从状态3不会转移到其它状态。,状态与状态转移,马氏链的基本方程,基本方程,马氏链的两个重要类型,1. 正则链 从

4、任一状态出发经有限次转移能以正概率到达另外任一状态（如例1）。,w 稳态概率,马氏链的两个重要类型,2. 吸收链 存在吸收状态（一旦到达就不会离开的状态i, pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例2）。,有r个吸收状态的吸收链的转移概率阵标准形式,R有非零元素,yi 从第 i 个非吸收状态出发，被某个吸收状态吸收前的平均转移次数。,11.2   钢琴销售的存贮策略,钢琴销售量很小，商店的库存量不大以免积压资金,一家商店根据经验估计，平均每周的钢琴需求为1架,存贮策略：每周末检查库存量，仅当库存量为零时，才订购3架供下周销售；否则，不订购。,估计在

5、这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。,背景与问题,问题分析,顾客的到来相互独立，需求量近似服从波松分布，其参数由需求均值为每周1架确定，由此计算需求概率,存贮策略是周末库存量为零时订购3架 周末的库存量可能是0, 1, 2, 3，周初的库存量可能是1, 2, 3。,用马氏链描述不同需求导致的周初库存状态的变化。,动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同。,可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。,模型假设,钢琴每周需求量服从波松分布，均值为每周1架,存贮策略：当周末库存量为零时，订购3架，周初到货；否则，不订

6、购。,以每周初的库存量作为状态变量，状态转移具有无后效性。,在稳态情况下计算该存贮策略失去销售机会的概率，和每周的平均销售量。,模型建立,Dn第n周需求量，均值为1的波松分布,Sn第n周初库存量(状态变量 ),状态转移规律,状态转移阵, ,模型建立,状态概率,马氏链的基本方程,已知初始状态，可预测第n周初库存量Sn=i 的概率,n,  状态概率,第n周失去销售机会的概率,n充分大时,模型求解,从长期看，失去销售机会的可能性大约 10%。,1. 估计在这种策略下失去销售机会的可能性,模型求解,第n周平均售量,从长期看，每周的平均销售量为 0.857(架),n充分大时,思考：为什么这个数

7、值略小于每周平均需求量1(架) ?,2. 估计这种策略下每周的平均销售量,敏感性分析,当平均需求在每周1 (架) 附近波动时，最终结果有多大变化。,设Dn服从均值为的波松分布,状态转移阵,第n周(n充分大)失去销售机会的概率,当平均需求增长（或减少）10%时，失去销售机会的概率将增长（或减少）约12% 。,11.3    基因遗传,背景,生物的外部表征由内部相应的基因决定。,基因分优势基因d 和劣势基因r 两种。,每种外部表征由两个基因决定，每个基因可以是d, r 中的任一个。形成3种基因类型：dd 优种D,  dr 混种H,  rr 劣种R。,基因类型

8、为优种和混种, 外部表征呈优势；基因类型为劣种,  外部表征呈劣势。,生物繁殖时后代随机地（等概率地）继承父、母的各一个基因，形成它的两个基因。父母的基因类型决定后代基因类型的概率,完全优势基因遗传,父母基因类型决定后代各种基因类型的概率,3种基因类型：dd优种D, dr混种H, rr劣种R,完全优势基因遗传,P(DDH)=P(dddd,dr)=P(ddd)P(ddr),P(RHH)=P(rrdr,dr)=P(rdr)P(rdr),=11/2=1/2,=1/21/2=1/4,随机繁殖,设群体中雄性、雌性的比例相等，基因类型的分布相同（记作D:H:R）,每一雄性个体以D:H:R的概率与

9、一雌性个体交配，其后代随机地继承它们的各一个基因,设初始一代基因类型比例D:H:R =a:2b:c   （a+2b+c=1), 记p=a+b, q=b+c, 则群体中优势基因和劣势基因比例 d:r=p:q (p+q=1)。,假设,建模,状态Xn=1,2,3 第n代的一个体属于D, H, R,状态概率 ai(n) 第n代的一个体属于状态i(=1,2,3)的概率。,讨论基因类型的演变情况,基因比例 d:r=p:q,转移概率矩阵,状态转移概率,随机繁殖,马氏链模型,自然界中通常p=q=1/2,稳态分布D:H:R=1/4:1/2:1/4,基因类型为D和H, 优势表征绿色，基因类型为R, &n

10、bsp;劣势表征黄色。,解释“豆科植物的茎，绿色:黄色=3:1”,随机繁殖,近亲繁殖,在一对父母的大量后代中, 雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。,状态定义为配对的基因类型组合,Xn=1,2,3,4,5,6配对基因组合为DD,RR,DH,DR,HH,HR,状态转移概率,马氏链模型,I,0,R,Q,状态1(DD), 2(RR)是吸收态，马氏链是吸收链不论初始如何，经若干代近亲繁殖，将全变为优种或劣种.,计算从任一非吸收态出发，平均经过几代被吸收态吸收。,纯种(优种和劣种)的某些品质不如混种，近亲繁殖下大约56代就需重新选种.,近亲繁殖,11.4   等级结构,社会系

11、统中的等级结构，适当、稳定结构的意义,描述等级结构的演变过程，预测未来的结构；,确定为达到某个理想结构应采取的策略。,引起等级结构变化的因素：,系统内部等级间的转移：提升和降级；,系统内外的交流：调入和退出(退休、调离等).,用马氏链模型描述确定性转移问题 转移比例视为概率,基本模型,a(t)等级结构,等级 i=1,2,k（如助教、讲师、教授）,数量分布 n(t)=(n1(t), n2(t), nk(t)ni(t) t 年属于等级i 的人数， t =0,1,比例分布  a(t)=(a1(t), a2(t), ak(t),转移矩阵 Q=pijkk,  pij 是每年从i 转至

12、j 的比例,基本模型,基本模型, 基本模型,基本模型,等级结构a(t) 状态概率,P转移概率矩阵,用调入比例进行稳定控制,问题：给定Q, 哪些等级结构可以用合适的调入比例保持不变,用调入比例进行稳定控制,a*,稳定域B,可行域A,例  大学教师(助教、讲师、教授)等级 i=1,2,3，已知每年转移比例,用调入比例进行稳定控制,研究稳定域B的结构,用调入比例进行稳定控制,稳定域是k维空间中以 si 为顶点的凸多面体,研究稳定域B的结构,用调入比例进行稳定控制,例,S1,稳定域B是以si为顶点的三角形,用调入比例进行动态调节,问题：给定Q和初始结构 a(0), 求一系列的调入比例 r, 使尽快达到或接近理想结构,逐步法：对于Q和 a(0), 求 r使 a(1)尽量接近 a*,  再将 a(1)作为新的a(0), 继续下去。,模型,例,用调入比例进行动态调节,求r 使a(1)尽量接近a*,r(t), a(t) 的计算结果,a(7)已接近a*,观察r(t)的特点,用调入比例进行动态调节,