72.先验分布的确定* 11 证U(0,1)是(1,1)分布，X~b(n,),其概率分布为 p(x)= 0俨(1-0)n-x, 而9的先验分布为π(0=1，当0∈(0,1)，故有 0r(1-0)n-x π(x)= 7.2.1) 66r(1-8)n-rd0 计算积分得到 6(1-9)n-rd0= T(n-x+1)r(x+1) T(n+2) 将上式结果代入(7.2.1)，得到后验密度 T(m+2) m=Tm-正+lrz+D0e-11-)-+-1 即0的后验分布是Beta分布Be(x+l,n-x+1): (2)又若0~Be(a,b),则 0r+a-1(1-0)n-x+b-1 m0国）=69r1-0n-6-1-p-1d0 (7.2.2) 计算积分得到 o*ta-I(1-0)m-*+6-1d0=I(t+a)I(n-z+b) Jo I(n+a+b) 将上式结果代入(7.2.2)，得到后验密度 rn+a+b）一ge+a)-1(1-0)m-x+b)-1. (0)=I(x+a)T(n-x+b) 因此，样本分布若为二项分布，其参数9的共轭先验分布族为Beta分布族. 由此例可见计算后验分布时，计算边缘分布时需要算积分.下列的方法说明可 以简化后验分布的计算，省略计算边缘分布这一步骤 2.后验分布的计算 后验分布的计算公式由(7.1.1)式给出，即 x(0)=f9)m@=f0)πO fm(x) Jef(x9)π(0)d0 此处f(x0)是样本的密度函数（也称为似然函数，可以用(z)代替f(x9),π(0）是的 先验密度，fm(x)是X的边缘密度.由于fm(x)与无关，故可将1/fm(x)看成与无关 的常数，因此有 m(0z)-f()()x ()(0 (7.2.3) fm(x)
7.2. k©Ÿ(½* 11 y U(0,1)¥β(1, 1)©Ÿ, X ∼ b(n, θ),ŸV«©Ÿè p(x|θ) = n x θ x (1 − θ) n−x , θk©Ÿèπ(θ) = 1, θ ∈ (0, 1),k π(θ|x) = θ x (1 − θ) n−x R 1 0 θ x(1 − θ) n−xdθ . (7.2.1) O黩 Z 1 0 θ x (1 − θ) n−x dθ = Γ(n − x + 1)Γ(x + 1) Γ(n + 2) , Ú˛™(Jì\(7.2.1),ó› π(θ|x) = Γ(n + 2) Γ(n − x + 1)Γ(x + 1) θ (x+1)−1 (1 − θ) (n−x+1)−1 . =θ©Ÿ¥Beta©ŸBe(x + 1, n − x + 1). (2) qeθ ∼ Be(a, b),K π(θ|x) = θ x+a−1 (1 − θ) n−x+b−1 R 1 0 θ x(1 − θ) n−xθ a−1(1 − θ) b−1dθ . (7.2.2) O黩 Z 1 0 θ x+a−1 (1 − θ) n−x+b−1 dθ = Γ(x + a)Γ(n − x + b) Γ(n + a + b) . Ú˛™(Jì\(7.2.2),ó› π(θ|x) = Γ(n + a + b) Γ(x + a)Γ(n − x + b) θ (x+a)−1 (1 − θ) (n−x+b)−1 . œd, ©Ÿeèë©Ÿ, ŸÎÍθ›k©ŸxèBeta©Ÿx. dd~åÑOé©Ÿû, Oé>©ŸûIá黩. eê{`²å ±{z©ŸOé, é—Oé>©Ÿ˘ò⁄½. 2. ©ŸOé ©ŸOé˙™d(7.1.1)™â—, = π(θ|x) = f(x|θ)π(θ) fm(x) = f(x|θ)π(θ) R Θ f(x|θ)π(θ)dθ d?f(x|θ)¥ ó›ºÍ(è°èq,ºÍ, å±^l(θ|x)ìOf(x|θ)) , π(θ)¥θ kó›, fm(x)¥X>ó›. dufm(x)ÜθÃ', åÚ1/fm(x)w§ÜθÃ' ~Í, œdk π(θ|x) = f(x|θ)π(θ) fm(x) ∝ f(x|θ)π(θ) (7.2.3)
9 CHAPTER7.BAYES方法和统计决策理论* 此处符号“α”表示“正比于”，即上式的左边和右边只相差一个正的常数，此常 数与无关，但可以与x有关.(7.2.3)式右端不是正常的密度函数，但它是后验密 度π(x)的“核”（密度函数中仅与参数有关的因子称为它的核）·在共轭先验分 布的场合，很容易看出：只要对后验密度的核，添加一个正则化常数因子就可以得 到后验密度. 因此.对共轭先验分布情形.求后验密度可按下列步骤： (1)写出似然函数（即样本密度函数）(z)的核，即l(z)中仅与参数9有关的因 子.再写出先验密度π()的核，即π()中仅与参数9有关的因子. (2)类似公式(72.3)，写出后验密度的核，即 π(z)∝f(x)π(O)文{l(z)的核}·{π()的核}. (7.2.4) 即“后验密度的核”是“似然函数的核与先验密度的核的乘积” (3)将公式(7.2.4)的右边添加一个正则化常数因子（可以与x有关），即可得到后 验密度 注7.2.1上述计算后验分布的简化方法，只对先验分布为共轭先验的情形有 效.当先验分布为非共轭先验情形，获得后验分布的核之后，如果不能判断出后验 分布的类型，就不知道如何添加正则化常数因子，将“后验密度的核”变成“后验密 度”.此时只有老老实实按公式(7.11)去计算后验密度， 现在我们用上面介绍的方法来解例7.2.9.设X~b(n,),若取的先验分布 为Be(a,b),求的后验分布. 解似然函数（即样本密度）的核是俨(1-)n-x,而先验密度的核是-1(1- )6-1.因此由公式(7.2.4)，有 π(0lz)cf(zl0)π(0)cgr+a-1(1-0)n-x+b-1. 易见上式的右边是“B(x+a,n-x+b)分布密度的核”.因此，添加正则化因子得 到后验密度 rn+a+）云9lr+a)-1(1-)m-r+b)-1 (l）=Tz+ar(m-x+ 由此例可见，上面介绍的方法简化了后验分布的计算.下面再看计算后验分布的几 个例子 例7.2.10设X~N(0,σ2)，σ2已知而0未知.令0的先验分布π(0)是N(4,2),其 中u和r2已知，求0的后验分布π(lx) 解给定时X的条件分布记为f(x),则有 (7.2.5) 令 ◇1+1=可2+2 02 0272
12 CHAPTER 7. BAYESê{⁄⁄O˚¸nÿ* d?Œ““ ∝ ”L´/'u0, =˛™Ü>⁄m>êÉ òá~Í, d~ ÍÜθÃ', å±Üxk'. (7.2.3)™m‡ÿ¥~ó›ºÍ, ߥó ›π(θ|x)/ÿ0(ó›ºÍ•=ÜÎÍθk'œf°èßÿ) . 3›k© Ÿ|‹, ÈN¥w—: êáÈó›ÿ, V\òáKz~Íœf“å± ó›. œd, È›k©Ÿú/, ¶ó›åUe⁄½: (1) —q,ºÍ(= ó›ºÍ) l(θ|x)ÿ, =l(θ|x)•=ÜÎÍθk'œ f. 2—kó›π(θ)ÿ, =π(θ)•=ÜÎÍθk'œf. (2) aq˙™(7.2.3),—ó›ÿ, = π(θ|x) ∝ f(x|θ)π(θ) ∝ {l(θ|x) ÿ} · {π(θ) ÿ}. (7.2.4) =/ó›ÿ0¥/q,ºÍÿÜkó›ÿ¶»0. (3) Ú˙™(7.2.4)m>V\òáKz~Íœf(å±Üxk') , =å ó›. 57.2.1 ˛„Oé©Ÿ{zê{, êÈk©Ÿè›kú/k . k©Ÿèö›kú/, º©ŸÿÉ, XJÿU‰— ©Ÿa., “ÿX¤V\Kz~Íœf, Ú/ó›ÿ0C§/ó ›0. dûêkPP¢¢U˙™(7.1.1)Oéó›. y3·Ç^˛°0 ê{5)~7.2.9. X ∼ b(n, θ), eθk©Ÿ èBe(a, b), ¶θ©Ÿ. ) q,ºÍ(= ó›) ÿ¥θ x (1 − θ) n−x , kó›ÿ¥θ a−1 (1 − θ) b−1 . œdd˙™(7.2.4),k π(θ|x) ∝ f(x|θ)π(θ) ∝ θ x+a−1 (1 − θ) n−x+b−1 . ¥Ñ˛™m>¥/Be(x + a, n − x + b)©Ÿó›ÿ0. œd, V\Kzœf ó› π(θ|x) = Γ(n + a + b) Γ(x + a)Γ(n − x + b) θ (x+a)−1 (1 − θ) (n−x+b)−1 . dd~åÑ, ˛°0 ê{{z ©ŸOé. e°2wOé©ŸA á~f. ~7.2.10 X ∼ N(θ, σ2 ), σ2Æ θô. -θk©Ÿπ(θ)¥N(µ, τ 2 ),Ÿ •µ⁄τ 2Æ, ¶θ©Ÿπ(θ|x). ) â½θûX^á©ŸPèf(x|θ),Kk π(θ|x) ∝ f(x|θ)π(θ) ∝ exp − 1 2 h (x − θ) 2 σ 2 + (θ − µ) 2 τ 2 i (7.2.5) - ρ = 1 τ 2 + 1 σ 2 = σ 2 + τ 2 σ 2τ 2 ,
72.先验分布的确定* 13 将公式(7.2.5)右边方括号中的项凑成的完全平方 ,+=(信+)-2（片+）+（货+） =p-(货+)川-（片+}°+（贷+） =-(片++ 故有 xxm--(片++=》 xr(--片（片+）》 (7.2.6) 易见，上式右边是N(μ(x),)密度的核，其中 回=（片+）-干+本n=p1= τ2 02,2 添加正则化因子，得到后验密度 0g=2ar-录o-P\ 此例说明当样本分布为方差已知的正态分布时，均值的共轭先验是正态分布 族。 若进一步假定X1,…,Xnii.d.~N(0,σ2)，σ2已知，0~N(4,T2),求9的后验密 度 由于样本均值为9的充分统计量，且给定时的分布是N(0,σ2/m),故将上述 结果中的x用代替，σ2用a2/n代替得到9的后验分布 π(1)N(u(),72): 其中 σ2/n T2 (国=n+r业+21n+r五 2=T2.o21no23 02/n+T2=n72+02 例7.2.11设X=(X1,·,Xn)为从Poisson分布P(A)中抽取的简单样本，入的 先验分布为Gamma分布T(a,b).证明给定X时，A的后验分布仍为Gamma分布. 证样本X1,…,Xm的联合分布为 l(0lx)=enA. AFe-n 此处五=员∑”1.入的先验分布是 =而ee
7.2. k©Ÿ(½* 13 Ú˙™(7.2.5)m>ê)“•ën§θ ²ê (x − θ) 2 σ 2 + (θ − µ) 2 τ 2 = 1 τ 2 + 1 σ 2 θ 2 − 2 µ τ 2 + x σ 2 θ + µ 2 τ 2 + x 2 σ 2 = ρ h θ − 1 ρ µ τ 2 + x σ 2 i2 − 1 ρ µ τ 2 + x σ 2 2 + µ 2 τ 2 + x 2 σ 2 = ρ h θ − 1 ρ µ τ 2 + x σ 2 i2 + (x − µ) 2 σ 2 + τ 2 , k π(θ|x) ∝ expn − ρ 2 h θ − 1 ρ µ τ 2 + x σ 2 i2 + (x − µ) 2 σ 2 + τ 2 o , ∝ expn − ρ 2 h θ − 1 ρ µ τ 2 + x σ 2 i2o (7.2.6) ¥Ñ, ˛™m>¥N(µ(x), η2 )ó›ÿ, Ÿ• µ(x) = 1 ρ µ τ 2 + x σ 2 = σ 2 σ 2 + τ 2 µ + τ 2 σ 2 + τ 2 x, η2 = ρ −1 = σ 2 τ 2 σ 2 + τ 2 . V\Kzœf, ó› π(θ|x) = 1 √ 2πη expn − 1 2η 2 (θ − µ(x))2 o . d~`² ©Ÿèê Æ©Ÿû, ˛äθ›k¥©Ÿ x. e?ò⁄b½X1, · · · , Xn i.i.d. ∼ N(θ, σ2 ), σ2Æ, θ ∼ N(µ, τ 2 ), ¶θó ›. du ˛äXèθø©⁄O˛, Öâ½θûX©Ÿ¥N(θ, σ2/n),Ú˛„ (J•x^xìO, σ 2^σ 2/nìOθ©Ÿ π(θ|x) ∼ N(µ(x), η2 ), Ÿ• µ(x) = σ 2/n σ 2/n + τ 2 µ + τ 2 σ 2/n + τ 2 x, η2 = τ 2 · σ 2/n σ 2/n + τ 2 = σ 2 τ 2 nτ 2 + σ 2 . ~7.2.11 X = (X1, · · · , Xn)èlPoisson©ŸP(λ)•ƒ{¸ , λ k©ŸèGamma©ŸΓ(a, b).y²â½Xû, λ©ŸEèGamma©Ÿ. y X1, · · · , XnÈ‹©Ÿè l(θ|x) = e −nλ · λ Pn i=1 xi Qn i=1 xi ! ∝ λ nx e −nλ , d?x = 1 n Pn i=1 xi . λk©Ÿ¥ π(λ) = a b Γ(b) λ b−1 e −aλ ∝ λ b−1 e −aλ