1、4- 1第四章 贝叶斯分析Bayesean Analysis4.0 引言一、决策问题的表格表示 损失矩阵对无观察(No-data) 问题 a=可用表格(损失矩阵)替代决策树来描述决策问题的后果 (损失):a1 j am( )llj1l1( )ili1lij( )nlm1lnm或 ( )1 ( )i ( )na1lli1l1j lijamlm1 lmn损失矩阵直观、运算方便 二、决策原则通常，要根据某种原则来 选择决策规则 ，使 结果最优 (或满意)，这种原则就叫决策原则，贝叶斯分析的决策原则是使期望效用极大。本章在介绍贝 叶斯分析以前先介绍芙他决策原则。三、决策问题的分类：1.不确定型(非确定
2、型)自然状态不确定,且各种状态的概率无法估计.2.风险型自然状态不确定,但各种状态的概率可以估计.四、按状态优于： I, 且至少 对某个 i 严格不等式成立, 则称行动 按状态优于lijk aj ak4.1 不确定型决策问题一、极小化极大(wald)原则(法 则、准则) a124l ( , ) 或 minjaxiij maxjinuj例:4- 2a12a34110 8 7 924 1 9 2313 16 12 1446 9 8 10各行动最大损失: 13 16 12 14其中损失最小的损失对应于行动 .a3采用该原则者极端保守, 是悲观主义者, 认为老天总跟自己作对.二、极小化极小l ( ,
3、) 或 minjiiaj maxjiuij例: 1234110 8 7 924 1 9 2313 16 12 1446 9 8 10各行动最小损失: 4 1 7 2其中损失最小的是行动 .a2采用该原则者极端冒险，是 乐观主义者， 认为总能撞大运。三、Hurwitz 准则上两法的折衷，取乐观系数入 l ( , )（1 l ( , )minjiiajmaxiij例如 =0.5 时 : 2 0.5 3.5 1 ilj（1 : 6.5 8 6 7axij两者之和： 8.5 8.5 9.5 8其中损失最小的是：行动 a4四、等概率准则(Laplace)用 来评价行动 的优劣ilij j选 mnjiij
4、上例： : 33 34 36 35 其中行动 的损失最小ilij a1五、后梅值极小化极大准则(svage-Niehans)定义后梅值 = -sijlminkl其中 为自然状态为 时采取不同行动时的最小损失.inkli构成后梅值(机会成本)矩阵 S= ,使后梅值极小化极大 ,即:sijmniaxjsij4- 3例:损失矩阵同上, 后梅值矩阵为 :3 1 0 23 0 8 11 4 0 20 3 2 4各种行动的最大后梅值为: 3 4 8 4其中行动 a1 的最大后梅值最小,所以按后梅值极小化极大准则应采取行动 1.六、Krelle 准则：使损失是效用的负数(后果的效用化 ),再用等概率(Lap
5、lace)准则.七、莫尔诺(Molnor)对理想决策准则的要求 (1954)1.能把方案或行动排居完全序；2.优劣次序与行动及状态的编号无关；3.若行动 按状态优于 ，则应有 优于 ；akajakj4.无关方案独立性：已经考虑过的若干行动的优劣不因增加新的行动而改变；5.在损失矩阵的任一行中各元素加同一常数时，各行 动间 的优劣次序不变；6.在损失矩阵中添加一行， 这一行与原矩阵中的某行相同，则各行动的优劣次序不变。4.2 风险型决策问题的决策原则一、最大可能值准则令 ( )=max( )ki选 使 l( , )= l( , )arrmnjkaj例：( )i1a2310.2 7 6.5 620
6、.5 3 4 530.3 4 1 0( ) 概率最大, 各行动损失为 3 4 52应选行动 a1二、贝叶斯原则使期望损失极小： l( , ) ( ) minjiiaji上例中,各行动的期望损失分别为 4.1 3.6 3.7, 对应于 的期望损失 3.6 最小a2应选 .a2三、贝努利原则损失函数取后果效用的负值,再用 Bayes 原则求最优行动.四、E V(均值方差)准则若 且 则 优于lijElikjkajk4- 4通常不存在这样的 aj上例中: 12a3E 4.1 3.6 3.7V( ) 2.29 3.79 5.9672不存在符合 EV 准则的行动 , 这时可采用 f(,)的值来判断( 为
7、效益型后果的期望) - f( ，)= -2 -( + )2f 越大越优.五、不完全信息情况下的决策原则(Hodges-Lehmann 原则 )状态概率分布不可靠时, 可采用:( )= + i=1,2, ,m j=1,2,najuijminuj越大越优.4.3 贝叶斯定理一、条件概率1.A、B 为随机试验 E 中的两个事件P(AB)=P(AB)/P(B)由全概率公式: j=1,2,n 是样本空间的一个划分,AjP(B)= P(B| )P( )jjAj得 Bayes 公式P( |B)=P(B| )P( )/P(B)iii= P(B| )P( )/ P(B| )P( )iijjAj2. 对 ,两个随
8、机变量条件概率密度f(| x)=f(x |)f()/f(x) 在主观概率论中(| x)=f(x |)()/m(x)其中：()是 的先验概率密度函数f(x)是 出现时，x 的条件概率密度,又称似然函数.m(x)是 x 的边缘密度, 或称预测密度. m(x)= f(x |)() d或 p(x| )( )iii(x)是观察值为 x 的后验概率密度。例：A 坛中白球 30%黑球 70%B 坛中白球 70%黑球 30%两坛外形相同，从中任取一坛 ，作放回摸球 12 次,其中白球 4 次，黑球 8 次，求所取为 A 坛的概率.4- 5解：设观察值 4 白 8 黑事件为 x，记取 A 坛为 , 取 B 坛为
9、12在未作观察时，先验概率 p( )=p( )=0.512则在作观察后，后验概率P( |x)=p(x| )p( ) p(x| )p( )+p(x| )p( )11 12= 0.5 ( 0.5+ 0.5)034.78034.7804.38= ( )4.=0.2401 0.2482=0.967显然, 通过试验、观察、可修正先验分布.4.4 贝叶斯分析的正规型与扩展型一、正规型分析由 Baysean 原则：先验分布为 ()时，最 优的决策规则 是 贝叶斯规则 ,使贝叶斯风险r(, )= r(,(x)inf其中：r(, (x)= R(,(x)E= l(,(x)x= l(,(x) f(x |)dx()
10、d (1)x据(1)式，选 使 r(，)达到极小，这就是正规型的贝叶斯分析。在解实际问题时，求使(1)式极小的 (x)往往十分困难 ，尤其在状态和观察值比较复杂时，集中的策略数目很大，穷举所有的 (x)有困难，且计算量颇大。实际上可用下法：二、扩展型贝叶斯分析(Extensive Form Analysis)在(1)式中因 l(,)-，f(x)，() 均为有限值。由 Fubini 定理，积分次序可换即 r(,(x)= l(,(x) f(x |)dx() dx= l(,(x) f(x |)() ddx (2)显然，要使(2)式达到极小， 应当对每个 xX，选择 ，使 l(,(x) f(x |)(
11、) d （2）为极小(x)=a 若对给 定的 x,选 a，使 l(,(x) f(x |)() d 为极小亦即，使 l(,a) f(x |)() d1mx()= l( ,a) ( |x) d 或 l( ,a)p( |x) (3) 达极小，即ii iii可使(1)式为极小.结论：对每个 x，选择行动 a，使之对给定 x 时 的后验分布 (x)的期望损失为极小，即可求得贝叶斯规则。这种方法叫贝叶斯分析的扩展型，由此确定的 贝叶斯 规则叫 formal Bayesean RuleRaiffa Sehlaifer,1961 年提出。Note4- 6使(3)式达极小的行动可能不只一个，即可能有多个 贝叶斯
12、规则；扩展型比正规型更直观，也容易计算，故更常用；许多分析人员只承认扩型，理由是：i，(x) 描述了试验后的 的分布，比 ()更客观，因此，只要损失函数是由效用理论导出的(即考虑了 DMer 的价值判断、 风险偏好)，在 评价行动 a 的优劣时就应当用后验期望损失。ii, r(，)是根据 ()求出的，而用先验分布 ()来确定行动 a 并不一定适当。从根本上讲，这种观点是正确的。无论从何种观点来进行贝叶斯分析，从理论上讲， 结果是一样的，所以采用何种方法可视具体问题，据计算方便而定。已经证明，形式贝叶斯分析对一类非随机性决策规则是成立的，也可以证明它对随机性决策规则同样成立。使所有 x 上后 验
13、期望损失极小的贝叶斯 规则也是随机性规则集 *中的Bayes 规则，因此， 总可以找到一 验期望损失极小的非随机性 规则。三、例(先看无观察问题)农民选择作物问题，设某地旱年 占 60%，正常年景 占 40%; 种植耐旱作物12a1种不耐旱作物，后果矩阵为 :a2a1220 0160 1002决策人的效用函数 u(y)= (1- )865.ey02.解：i 令：l(y)=1-u(y) ii,作决策树：4- 7a1a2 ()1()1()260 .81 .19y u l20 .38 .620 0 110 1 0iii, 在无观察时, R=l, r= l( ,a)( )1niir(, )=l( ,
14、)( )+l( , )( ) a12a12=0.62 0.6+0.19 0.4=0.448r(, )= l( , )( )+l( , )( )212122=1.0 0.6+0 0.4=0.6风险 r 小者优, = ，是贝叶斯 规则, 即贝叶斯行动.即应选择耐旱作物。a1四、例(续上)设气象预报的准确性是 0.8，即 p( | )=0.8 p( | )=0.8x1x2其中， 预报干旱 x1预报正常年景2则 m( )=p( | )( )+p( | )( )11x12=0.8 0.6+0.2 0.4=0.56m( )=0.44x2( | )=p( | )( ) m( )111x1=0.8 0.60.
15、56=0.86( | )=p( | )( ) m( )x22=0.2 0.60.44=0.27( | )=0.141( | )=0.7321.正规型分析策略 : = ( ) = ( )1a1xa21x2r(, )= l ( , ( )p( | )( )ijijjii4-7= l ( , )p( | )( )+l ( , )p( | )( )1ax11a2x1+ l ( , )p( | )( )+l ( , )p( | )( )2222=0.620.80.6+1.0 0.20.6+0.19 0.20.4+0.0 0.80.4=0.43284- 8策略 : = ( ) = ( )2a12xa2x1
16、r(, )= l ( , ( )p( | )( )ijijjii= l ( , )p( | )( )+l ( , )p( | )( )1211a2x11+ l ( , )p( | )( )+l ( , )p( | )( )2ax22= 0.620.20.6+1.00.80.6+0.190.8 0.4+0.00.8 0.4=0.6152策略 : = ( ) = ( )313x113x2r(, )=0.45策略 ： = （ ） = （ ）4a241a242r(, )=0.6r(, ) r( , ) r( , ) r( , )13 是贝叶斯行动。 3421x1a1x21 a122(|)1x|2(|)
17、21x(|)2x(|)2x|1482.扩展型之一：据(2) : l(,(x) f(x |)() d 记作 r给定 (预报 干旱):x1采用 r= l ( , )p( | )( )aiia1xii= l ( , )p( | )( ) + l ( , )p( | )( )112a1x2= 0.620.80.6+0.19 0.20.4=0.3128采用 r= l ( , )p( | )( ) + l ( , )p( | )( )a21a2x112x12=0.48风险小者优 给定 应选114- 9给定 (预报 天气正常)x2采用 r= l ( , )p( | )( ) + l ( , )p( | )(
18、 )a11ax212a1x22=0.620.20.6 + 0.19 0.8 0.4=0.135采用 r= l ( , )p( | )( ) + l ( , )p( | )( )212x112x12=1.00.20.6 + 0=0.12给 定 应选x2a2由此得形式 Bayes 规则 : = ( ) = ( )a1x1a2x23.扩展型之二：据(3)式 即 l( ,a) ( |x) d 或 l( ,a)( |x)(记作 r”)iiiii给定 , x1采用 r”= l( , )( | )aiia1ix1= l( , )( | ) + l( , )( | )12a2x1=0.62 0.86 + 0.
19、19 0.14=0.56采用 r”= l( , )( | ) + l( , )( | )a21a21x22x1= 1.0 0.86 + 0 0.14=0.86给 定 ，应选 行动 .x11给定 2采用 r”= l( , )( | )a1iia1ix2= l( , )( | ) + l( , )( | )1a12x=0.62 0.27 + 0.19 0.73 = 0.3061 采用 r”= l( , )( | )a2iia2ix2= l( , )( | ) + l( , )( | )11a2x=1.0 0.27 + 0 0.73 =0.27给 定 应选择行动 .x2a2形式 Bayes 规则 :
20、 = ( ) = ( )1x12x24.5 非正常先验与广义贝叶斯规则一、非正常先验(Improper Prior)概率测度的三个条件：i,规范性：P()=1ii,非负性：0P(A)1iii,可列可加性在设定先验分布时，若不满足 规范性， 则称为非正常先验.二、广义贝叶斯规则(General Bayesean Rule)1.定义：决策问题的损失函数为 l(,a)，()为非正常先验分布， 对给定的 ，使i4- 10i, l(,(x) f(x |)() d 为极小，或者ii, 0m(x) 时,使 l( ,a) ( |x) d 为极小的策略(行动)，构成广义贝叶斯规则.ii2.Nole：在许多重要场
21、合，所有允 许的都是 GBR在无法得到正常先验时，除此 别无良策；GBR 不一定是最好的决策 规则4.6 一种具有部分先验信息的贝叶斯分析法一、概述1.思路：在部分先验信息难以唯一地确定 ()时，抛开唯一性要求，转而确定与已知先验信息相符的先验分布的集。2.符号i, 和 A 为有限集：= , , 12nA= , , am损失矩阵 L= =l ( , )lijnlijiajii,根据贝叶斯分析的扩展型 给定 x，应从集合 A 中选一行动 ，使 kq(a)= l ( ,a) p( | )( ) 为极小,亦即 iix1ii= arg q(a) 或 q( )q( ) j=1,2,m (4)akmnaA
22、akj则 为贝叶斯行动.记 p( | )为 (x) , ( ) 为x1ipiiiL = , , = , , klk2lnT12n则 l ( ,a) p( | )( )=L diag (x) iix1iijTpi(4)式可表示成 L diag (x)L diag (x) i=1,2, ,n (5)kTijij=1,2, ,m(5)式即 (L -1 L ) diag (x) 0 (5)kpi记 (L -1 L ) diag (x) 为 D (x), 式(5)可表示为:TkD (x) 0 (5”)k3. (5”)式的含义(1)给定 x，先验分布为 时，应选 使 5(即 5, 亦即 5”)式成立。ak(2)对给定的 x，要使 成为贝叶斯行动, 应满足 5(即 5, 亦即 5”)式.k由(2)可以定义(x)= | D (x) 0 ; , 0 kki1i式中, 是先验分布的所有可能的集 ,(x) 是 的一个子集，它能 i,使 对给定 x 为 Bayes 行动kii,满足规范性和非 负性二、分析步骤1. 确定 (x)k2. 确定先验信息对先验分布 ()的约束：
