性，此时 P陪国=0-P防 () 若P考=P,此时称此马氏链为可逆的马氏链(reversible markov chain).可 逆马氏链的可逆性经常表示为（细致平衡方程，detailed balance equations) (i)Pij=(j)Pji. 从而如果一个目标分布π满足此细致平衡方程，则容易验证其就是平稳分布： ∑0B=∑0B: → x(国∑P=∑πG)P (国=πG)P 平稳分布的定义 例设{P,j∈2，∑，P5=1}为我们感兴趣的目标分布，以及Q为任一不 Previous Next First Last Back Forward 9
5, dû P ∗ ij (t) = Pjiπ(j) π(i) = P ∗ ij . eP ∗ ij = Pij , dû°dͺÛèå_ͺÛ(reversible markov chain). å _ͺÛå_5²~ L´è([ó²Ôêß, detailed balance equations) π(i)Pij = π(j)Pji. l XJòá8I©Ÿπ˜vd[ó²Ôêß, KN¥yŸ“¥²©Ÿ: X j π(i)Pij = X j π(j)Pji ⇐⇒ π(i) X j Pij = X j π(j)Pji ⇐⇒ π(i) = X j π(j)Pji ²©Ÿ½¬ ~ {pj , j ∈ Ω, P j pj = 1} è·Ça,8I©Ÿ, ±9Qè?òÿ Previous Next First Last Back Forward 9
可约的状态空间为的马氏链的转移概率矩阵，且满足对称性条件 Qij=Qji,i,jen 按如下方式定义一个马氏链： 1.从时刻t的状态转移到下个时刻的状态，由转移核Q生成一个候选的状 态j 2.以概率mim1,兴}接受下一时刻的状态为X+1=j,否则X+1=i 我们计算一下此种方式下得到的马氏链的转移概率： (a).i≠j Pij P(Xt+1=j,TAlX:=i)=P(X+1=jX:=i)P(TA) = Qijmin{1,i Pi wTA”-the event"transition is accepted” (b).i= P:=P(Xt+1=i,TA川X:=)+P(Xt+1≠i,TAX:=i) Previous Next First Last Back Forward 10
åG òmèΩͺÛ=£V«› , Ö˜vÈ°5^á Qij = Qji, i, j ∈ Ω UXe꙽¬òáͺÛ: 1. lûètGi=£eáûèG, d=£ÿQ)§òáˇ¿G j. 2. ±V«min{1, pj pi }…eòûèGèXt+1 = j, ƒKXt+1 = i. ·ÇOéòed´ê™eͺÛ=£V«: (a). i 6= j: Pij = P(Xt+1 = j, T A|Xt = i) = P(Xt+1 = j|Xt = i)P(T A) = Qijmin{1, pj pi } ”TA” - the event ”transition is accepted” (b). i = j: Pii = P(Xt+1 = i, T A|Xt = i) + P(Xt+1 6= i, T A|Xt = i) Previous Next First Last Back Forward 10
Qa+∑Ql-minl,l pi j:1≠1 则我们可以验证此转移概率和目标分布满足细致平衡方程：不妨P> P(i=j显然成立)，则 PiPij =PiQijmind1,)=pjQjimin{1,)=PiPt pi 因此这样定义的马氏链为可逆马氏链，且平稳分布为我们的目标分布. 连续的状态空间 若2是连续的，则对任意的x,y∈2，设{X}为齐次马氏过程，记转移概率 分布为 Pxy=P(Xt+1≤X&=x)=P(X1≤lXo=x),x,y∈2. 若Pxy对y绝对连续，则可以得到条件密度： Pry= aPzy ay Previous Next First Last Back Forward 11
= Qii + X j:j6=i Qij [1 − min{1, pj pi }]. K·Çå±yd=£V«⁄8I©Ÿ˜v[ó²Ôêß: ÿîpj > pi(i = jw,§·), K piPij = piQijmin{1, pj pi } = pjQjimin{1, pi pj } = pjPji. œd˘½¬ÍºÛèå_ͺÛ, Ö²©Ÿè·Ç8I©Ÿ. ÎYGòm eΩ¥ÎY, KÈ?øx, y ∈ Ω, {Xt}è‡gͺLß, P=£V« ©Ÿè Pxy = P(Xt+1 ≤ y|Xt = x) = P(X1 ≤ y|X0 = x), x, y ∈ Ω. ePxyÈy˝ÈÎY, Kå±^áó›: pxy = ∂Pxy ∂y Previous Next First Last Back Forward 11
称为转移核.m步转移概率为 Pxw(m)=P(Xt+m≤Xt=x),x,y∈2. 从而m步转移核为 Pry(t+m)= aPzy(m】 ay Chapman-Kolmogorov等式为 Pzv(t+m)=P:v(m)pz:(t)dz. (离散场合：P(m+t)=∑Ps(m)P() X:的边际密度为 T(g）=Pxyt-1(e)d 此时细致平衡方程为 (y)pyr =(x)pry. Previous Next First Last Back Forward 12
°è=£ÿ. m⁄=£V«è Pxy(m) = P(Xt+m ≤ y|Xt = x), x, y ∈ Ω. l m⁄=£ÿè pxy(t + m) = ∂Pxy(m) ∂y Chapman-Kolmogorov ™è Pxy(t + m) = Z Pzy(m)pxz(t)dz, (l—|‹:Pij (m + t) = X s∈Ω Pis(m)Psj (t)) Xt>Só›è πt(y) = Z pxyπt−1(x)dx. dû[ó²Ôêßè π(y)pyx = π(x)pxy. Previous Next First Last Back Forward 12
两边积分，即有 x(z)pud在=x(apyd山 平稳分布的定义 1.2 The Metropolis-Hastings Algorithm MH(Metropolis-Hastings)算法是一类常用的构造马氏链的方法，其包括 了：Metropolis抽样，Gibbs抽样，独立抽样，随机游动抽样等.MCMC方法 的精髓在于构造合适的马氏链，因此算法的主要目的是对马氏链{Xt= 0,1,2,…},在给定一个X,所处的状态下，产生下一步的状态X+1.MH算法 构造如下： 1.构造合适的提议分布g(X:) 2.从g(X)中产生Y: Previous Next First Last Back Forward 13
¸>»©, =k Z π(x)pyxdx = Z π(x)pxydx ⇐⇒ π(y) Z pyxdx = Z π(x)pxydx ⇐⇒ π(y) = Z π(x)pxydx ²©Ÿ½¬ 1.2 The Metropolis-Hastings Algorithm MH(Metropolis-Hastings) é{¥òa~^EͺÛê{, Ÿù) : Metropolisƒ, Gibbsƒ, ’·ƒ, ëÅiƒƒ . MCMCê{ °ì3uE‹·ÍºÛ, œdé{Ãá 8¥ÈͺÛ{Xt|t = 0, 1, 2, · · · }, 3â½òáXt§?Ge, )eò⁄GXt+1. MHé{ EXe: 1. E‹·JÆ©Ÿg(·|Xt). 2. lg(·|Xt)•)Y ; Previous Next First Last Back Forward 13