Lec3:指数族和充分完备统计量 张伟平 2011年9月12日 1指数族 在统计理论问题中，许多统计推断方法的优良性，对一类范围广泛的统计模型（亦称为分布 族)，有较满意的结果.这类分布族称为指数族.常见的分布，如正态分布、二项分布、Poissor如 分布、负二项分布、指数分布和Gamma分布等都属于这类分布族，这些表面上看来各不相同 的分布，其实它们都可以统一在一种包罗更广的一类称为指数族的模式中.当然引进这种分布 族的理由，主要不在于谋求形式上的统一，而在于这种统一抓住了它们的共性，因此许多统计理 论问题，对指数族获得较彻底的解决.本节介绍指数族的定义及简单性质， 一、定义与例子 定义1.设多={f(x,):0∈日}是定义在样本空间见上的样本分布族，其中日为参数空间. 若其概率函数f(红，)可表示成如下形式 f(z.0)=C(0)cxp{>Q.(0)T.(=)h(). 则称此样本分布族为指数型分布族（简称指数族(Exponential family),.其中k为自然数，C(0)> 0和Q()(i=1,2·,)都是定义在参数空间日上的（可测）函数，h(x)>0和T(x)(i= 1,2,…,)都是定义在见上的可测)函数. 指数族的一个性质是族中的所有分布具有共同的支撑集(G(x)称为概率函数p(x)的支撑集， 若G(x)={x:p(x)>0})由定义可见指数族支撑集{x:f(x,)>0}={x:h(x)>0}与0无 关.任一分布族若其支撑集与0有关，则族中分布不再具有共同支撑集，因而必不是指数族 例1.正态分布族{N(4,σ2)：-00<4<0，σ2>0}是指数族 Proof.设X=(X1,·,Xn)为从正态分布N(μ，o2)中抽取的简单样本，X的联合密度为 fx%9=(V2o)"e即{-2ac:- (1.1) 4 记0=(4，o2),则参数空间为日={0=(4，o2):-0<4<+0,o2>0}将(1.1)改写为 =(2a可"。岁m总4-到
Lec3: çÍx⁄ø©⁄O˛ ‹ï² 2011 c 9 12 F 1 çÍx 3⁄OnÿØK•, Nı⁄Ỏê{`˚5, Èòaâå2ç⁄O . (½°è©Ÿ x), k˜ø(J. ˘a©Ÿx°èçÍx. ~Ñ©Ÿ, X©Ÿ!ë©Ÿ!Poisson ©Ÿ!Kë©Ÿ!çÍ©Ÿ⁄Gamma ©Ÿ —·u˘a©Ÿx, ˘ L°˛w5àÿÉ” ©Ÿ, Ÿ¢ßÇ—å±⁄ò3ò´ù¤ç2òa°èçÍx ™•. ,⁄?˘´©Ÿ xnd, Ãáÿ3u*¶/™˛⁄ò, 3u˘´⁄ò84 ßÇ5, œdNı⁄On ÿØK, ÈçÍxºî.)˚. !0 çÍx½¬9{¸5ü. ò!½¬Ü~f ½¬ 1. F = {f(x, θ) : θ ∈ Θ} ¥½¬3 òmX ˛ ©Ÿx, Ÿ•Θ èÎÍòm. eŸV«ºÍf(x, θ) åL´§Xe/™ f(x, θ) = C(θ) exp nX k i=1 Qi(θ)Ti(x) o h(x), K°d ©ŸxèçÍ.©Ÿx({°çÍx (Exponential family). Ÿ•kèg,Í, C(θ) > 0 ⁄Qi(θ) (i = 1, 2 · · · , k) —¥½¬3ÎÍòmΘ ˛(åˇ) ºÍ, h(x) > 0 ⁄Ti(x) (i = 1, 2, · · · , k) —¥½¬3X ˛(åˇ) ºÍ. çÍxòá5ü¥x•§k©Ÿ‰k”|†8( G(x) °èV«ºÍp(x)|†8, eG(x) = {x : p(x) > 0} ). d½¬åÑçÍx|†8{x : f(x, θ) > 0} = {x : h(x) > 0} Üθ à '. ?ò©ŸxeŸ|†8Üθ k', Kx•©Ÿÿ2‰k”|†8, œ 7ÿ¥çÍx. ~1. ©Ÿx{N(µ, σ2 ) : −∞ < µ < ∞, σ2 > 0}¥çÍx. Proof. X = (X1, · · · , Xn)èl©ŸN(µ, σ2 )•ƒ{¸ , XÈ‹ó›è f(x; µ, σ2 ) = √ 2πσ−n exp n − 1 2σ 2 Xn i=1 (xi − µ) 2 o . (1.1) Pθ = (µ, σ2 ), KÎÍòmèΘ = {θ = (µ, σ2 ) : −∞ < µ < +∞, σ2 > 0}.Ú(1.1) Uè f(x, θ) = √ 2πσ−n e − nµ2 2σ2 expn µ σ 2 Xn i=1 xi − 1 2σ 2 Xn i=1 x 2 i o 1
=C(a)exp{Q1(0)T(x)+Q2(0)T2(x)}h(x), (1.2) 此处C(0)=(N2a)ne器，Q1(0)=μ叫a2,Q2(0)=-京，(x)=∑”14，T2(x)= ∑1，h(x)三1.因此由定义可知正态分布族N(山，2)是指数族. ▣ 例2.二项分布族{b(n,):0<日<1}是指数族 Proof.设X~二项分布b(n,),其概率函数为 p(a,0)=Po(X=z)= (1-0n-x (C)(°a)'a-0r x=0,1,2,,n (1.3) 此处样本空间乳={0,1,2，·，n,参数空间日={0：0<0<1}=(0,1).将上式改写为 .=-9rep{esT2}(回） C(0)exp{Q1(0)Ti(x)}h(r). (1.4) 此处C()=(1-)”,Q1()=log。,T(x)=x,h(x)=(),按定义二项分布族(n,)也是指 数族. ▣ 例3.均匀分布族{U(0,),0>0}不是指数族。 Proof.由指数族的定义可知，其支撑集为{x:p(x,)>0}={x:h(x)>O},它与9无关.而 均匀分布族{U(0,),0>0}的支撑集为{x:p(x,)>0}=(0,)与0有关，因此它不是指数 族。 口 二、指数族的自然形式及自然参数空间 在指数族的定义C0)ep{名Q:oz(ah()中，若用p:代替Q.(o,而将C0表成p 的函数C(.=(o,p2,…,p,故其表达式变为C(9)）e即{名Z工（回}h.再改， 为9，i=12,,k则上式即为：C(0)ep(三，Z(},此式称为指数族的自然形式（或 称为标准形式).故有下列定义 定义2.如果指数族有下列形式 f(z.0)=C(0)erp>0:T:(z)h(z). (1.5) 则称为指数族的自然形式Natural form).此时集合 日={0，，…，6s):exp{∑0，z(}(<∞} (1.6) 称为自然参数空间(Natural parametric space)) 例4.将正态分布族表示为指数族的自然形式，并求出其自然参数空间 2
= C(θ) exp{Q1(θ)T1(x) + Q2(θ)T2(x)}h(x), (1.2) d?C(θ) = (√ 2πσ) −ne − nµ2 2σ2 , Q1(θ) = µ/σ2 , Q2(θ) = − 1 2σ2 , T1(x) = Pn i=1 xi , T2(x) = Pn i=1 x 2 i , h(x) ≡ 1 . œdd½¬å©ŸxN(µ, σ2 ) ¥çÍx. ~2. ë©Ÿx{b(n, θ) : 0 < θ < 1}¥çÍx. Proof. X ∼ ë©Ÿ b(n, θ), ŸV«ºÍè p(x, θ) = Pθ(X = x) = n x θ x (1 − θ) n−x = n x θ 1 − θ x (1 − θ) n , x = 0, 1, 2, · · · , n. (1.3) d? òmX = {0, 1, 2, · · · , n}, ÎÍòmΘ = {θ : 0 < θ < 1} = (0, 1). Ú˛™Uè p(x, θ) = (1 − θ) n exp n x log θ 1 − θ o · n x = C(θ)exp{Q1(θ)T1(x)}h(x). (1.4) d?C(θ) = (1 − θ) n, Q1(θ) = log θ 1−θ , T1(x) = x, h(x) = n x , U½¬ë©Ÿxb(n, θ) è¥ç Íx. ~3. ˛!©Ÿx{U(0, θ), θ > 0} ÿ¥çÍx. Proof. dçÍx½¬åߟ|†8è{x : p(x, θ) > 0} = {x : h(x) > 0}, ßÜθ Ã'. ˛!©Ÿx{U(0, θ), θ > 0} |†8è{x : p(x, θ) > 0} = (0, θ) Üθ k', œdßÿ¥çÍ x. !çÍxg,/™9g,ÎÍòm 3çÍx½¬C(θ) exp P k i=1 Qi(θ)Ti(x) h(x) •, e^ϕi ìOQi(θ), ÚC(θ) L§ϕ ºÍC ∗ (ϕ), ϕ = (ϕ1, ϕ2, · · · , ϕk), ŸLà™CèC ∗ (ϕ) exp P k i=1 ϕiTi(x) h(x). 2Uϕi èθi , i = 1, 2, · · · , k, K˛™=è: C(θ) exp P k i=1 θiTi(x) h(x), d™°èçÍxg,/™(½ °èIO/™). ke½¬ ½¬ 2. XJçÍxke/™ f(x, θ) = C(θ)expnXn i=1 θiTi(x) o h(x), (1.5) K°èçÍxg,/™(Natural form). dû8‹ Θ ∗ = n (θ1, θ2, · · · , θk) : Z X exp X k i=1 θiTi(x) h(x)dx < ∞ o (1.6) °èg,ÎÍòm (Natural parametric space). ~4. Ú©ŸxL´èçÍxg,/™, ø¶—Ÿg,ÎÍòm. 2
Proof.由 的-（)c器华-云} 参数空间日={(4，o2):-0<μ<0,0<2<∞.令1=川a2,2=-a,解出a= 站，1：2=i-,因此有（京）“e器-（V器)”e全c(,p=(e,p2, 故 fx,p)=C(p)ep{p∑+p2∑}h(x) i=1 1 =C(p)expfpTi(x)+2T2(x)}h(x). 再改p:为0(i=1,2),上式变为 f(x,)=C*()exp{0T(x)+2T2(x)}h(x) (1.7) 此为其自然形式.其自然参数空间为 日*={(01,02)：-00<01<+o,-0∞<2<0} 0 三、指数族的性质 定理1.在指数族的自然形式下，自然参数空间为凸集. 证明的方法如下：设任给)=（©，…，），0o=(,…,)皆属于自然参数空间日*， 设0<a<1,令9=a8)+(1-a)9o(即9：=a8+(1-a)9,i=1,2,…,k),若能证明9∈日*， 则按凸集的定义，定理得证. 定理2.设指数族的自然形式中，自然参数空间有内点，9g(工)是任一有界可积函数，则对 c0=/aem{空o,.c)scy. 有 "c8=/"taam{空5ahatoju amG(0) 其中∑=1m=m,即对G()关于日的任意阶偏导数可在积分下求得。 此定理的更一般的形式及其证明查看参考文献[1]P21定理1.2.1. 2充分统计量 我们知道，统计量是对样本的简化，希望达到：()简化的程度高；()信息的损失少.一个统 计量能集中样本中信息的多少，与统计量的具体形式有关，也依赖于问题的统计模型.最好的情 3
Proof. d f(x; µ, σ2 ) = 1 √ 2πσ n e − nµ2 2σ2 exp n µ σ 2 Xn i=1 xi − 1 2σ 2 Xn i=1 x 2 i o , ÎÍòmΘ = {(µ, σ2 ) : −∞ < µ < ∞, 0 < σ2 < ∞}.-ϕ1 = µ/σ2 , ϕ2 = − 1 2σ2 , )—σ = q − 1 2ϕ2 , µ2/σ2 = ϕ 2 1 (− 1 2ϕ2 ), œdk √ 1 2πσ n e − nµ2 2σ2 = q−2ϕ2 2π n e nϕ2 1 4ϕ2 4 = C ∗ (ϕ), ϕ = (ϕ1, ϕ2), f(x, ϕ) = C ∗ (ϕ) exp ϕ1 Xn i=1 xi + ϕ2 Xn i=1 x 2 i h(x) = C ∗ (ϕ) exp{ϕ1T1(x) + ϕ2T2(x)}h(x). 2Uϕi èθi (i = 1, 2), ˛™Cè f(x, θ) = C ∗ (θ) exp{θ1T1(x) + θ2T2(x)}h(x). (1.7) dèŸg,/™. Ÿg,ÎÍòmè Θ ∗ = {(θ1, θ2) : −∞ < θ1 < +∞, −∞ < θ2 < 0}. n!çÍx5ü ½n 1. 3çÍxg,/™e, g,ÎÍòmè‡8. y²ê{Xeµ?âθ (1) = (θ 1 1 , · · · , θ1 k ), θ(0) = (θ 0 1 , · · · , θ0 k ) ·ug,ÎÍòmΘ∗ , 0 < α < 1, -θ = αθ(1) + (1−α)θ (0) (=θi = αθ1 i + (1−α)θ 0 i , i = 1, 2, · · · , k),eUy²θ ∈ Θ∗ , KU‡8½¬, ½ny. ½n 2. çÍxg,/™•, g,ÎÍòmkS:, g(x) ¥?òk.建Í, KÈ G(θ) = Z X g(x) exp nX k j=1 θjTj (x) o h(x)dx, k ∂ mG(θ) ∂θm1 1 · · · ∂θmk k = Z X ∂ m ∂θm1 1 · · · ∂θmk k h g(x) exp nX k j=1 θjTj (x) o h(x) i dx, Ÿ• Pk j=1 mj = m, =ÈG(θ) 'uθ ?ø †Íå3»©e¶. d½nçòÑ/™9Ÿy²wΩz[1] P21½n1.2.1. 2 ø©⁄O˛ ·Ç, ⁄O˛¥È {z, F"à: (i) {zß›p; (ii) &Eõî. òá⁄ O˛U8• •&Eı, Ü⁄O˛‰N/™k', èù6uØK⁄O .. Å–ú 3
况是统计量把样本中的全部信息都集中起来，也就是说信息无损失，我们称这样的统计量为充分 统计量。 关于样本X=(X1,X2,·,Xn)的信息可以设想成如下的公式： {样本X中包含参数的信息}={统计量T(X)中所含参数的信息} +{在知道T(X)后样本X尚含有关于参数的剩余信息} 故T(X)为充分统计量的要求归结为：要求后一项信息为0.用统计的语言来描述，即要 求P%(XT=t)与无关.因此我们得到如下的定义： 定义1.设样本X的分布族{F6(x,日∈日}，0为分布的参数.设T=T(X)为一统计量，若在已 知T的条件下，样本X的条件分布与0无关，则称T(X)为充分统计量(Su历cient statistic以. 实际应用时条件分布用条件概率（离散情形）或条件密度（连续情形）来代替： 例1.设X=(X1,X2,·,Xn)为从0-1分布中抽取的简单样本，则T(X)=∑=1X,为充分统 计量. Poof按定义我们只要证明下列条件概率与8无关 P(X1=z1,...,Xn=InT(x)=to) P=1/),当2-t。 P(T()=to) i=1 当∑≠t0, =1 上述条件概率与无关，因此T(X)=∑1X;为充分统计量. ▣ 例2.设X=(X1,X2,…,Xn)为从正态总体N(0,1)中抽取的简单样本，则T(X)=是∑1X:= 灭为充分统计量 Proof.再做正交变换 班= =1 ak,j=2,,n 二1 由正态总体下样本均值和样本方差的分布导出过程可知∑”1Y2=∑=1X2,且Y,Y2,…,Y是 相互独立的，Y~N(万0,1)，Y~N(0,1),i=2,…,n.因此(Yi,…Yn)的联合密度为 f儿n,…h)=(2m)广号e2好-a-va0e 再由Y的密度函数为 k()=1 e-(g1-Vm0)2 2 知在给定Y时，(Y,·,Yn)的条件密度是 fn,…,nlbn）=fnnl=2m学ea听 (2.1) fy() 与0无关
¹¥⁄O˛r • ‹&E—8•Â5, è“¥`&EÃõî, ·Ç°˘⁄O˛èø© ⁄O˛. 'u X = (X1, X2, · · · , Xn)&Eå±é§Xe˙™: X•ù¹ÎÍ&E = ⁄O˛T(X)•§¹ÎÍ&E + 3T(X) Xˇ¹k'uÎÍê{&E T(X)èø©⁄O˛á¶8(è: á¶òë&Eè0. ^⁄OäÛ5£„, =á ¶Pθ(X|T = t)ÜθÃ'. œd·ÇXe½¬: ½¬ 1. X©Ÿx{Fθ(x), θ ∈ Θ}, θè©ŸÎÍ. T = T(X)èò⁄O˛, e3Æ T^áe, X^á©ŸÜθÃ', K°T(X)èø©⁄O˛ (Sufficient statistic). ¢SA^û^á©Ÿ^^áV«(l—ú/) ½^áó›(ÎYú/) 5ìO. ~1. X = (X1, X2, · · · , Xn)èl0 − 1©Ÿ•ƒ{¸ , KT(X) = Pn i=1 Xièø©⁄ O˛. Proof. U½¬·Çêáy²e^áV«ÜθÃ'. P(X1 = x1, · · · , Xn = xn|T(x) = t0) = P (X1=x1,··· ,Xn=xn,T =t0 ) P (T(x)=t0 ) = 1 n t0 , Pn i=1 xi = t0 0, Pn i=1 xi 6= t0. ˛„^áV«ÜθÃ',œdT(X) = Pn i=1 Xièø©⁄O˛. ~2. X = (X1, X2, · · · , Xn)èloNN(θ, 1)•ƒ{¸ , KT(X) = 1 n Pn i=1 Xi = X¯ èø©⁄O˛. Proof. 2âCÜ ( y1 = √ 1 n Pn i=1 xi , yj = Pn k=1 ajkxk, j = 2, · · · , n. doNe ˛ä⁄ ê ©Ÿ—Lßå Pn i=1 Yi 2 = Pn i=1 Xi 2 ,ÖY1, Y2, · · · , Yn¥ Ép’·, Y1 ∼ N( √ nθ, 1), Yi ∼ N(0, 1), i = 2, · · · , n. œd(Y1, · · · Yn)È‹ó›è f(y1, · · · yn) = (2π) − n 2 e − 1 2 Pn i=2 y 2 i − 1 2 (y1− √ nθ) 2 . 2dY1ó›ºÍè fY1 (y1) = 1 √ 2π e − 1 2 (y1− √ nθ) 2 3â½Y1û, (Y1, · · · , Yn)^áó›¥ f(y1, · · · , yn|y1) = f(y1, · · · , yn) fY1 (y1) = (2π) − n−1 2 e − 1 2 Pn i=2 y 2 i (2.1) ÜθÃ'. 4
这里利用了下列事实：曲面{(…Y):Yi=vt=}是由曲面{(X1,·,Xn):T(X)= t}经正交旋转而来，曲面保持不变.因此在曲面{(X1,·,Xn):T(X)=t}上的条件概率与在曲 面{Y,·,Y):Y=y1}上的条件概率相同.故有 f儿a…T=)=fn,…,X=n=2学。4会听 与无关，所以T(X)=是充分统计量 二、充分性的判别准则—因子分解定理 因子分解定理是由R.A.Fisher在二十世纪二十年代提出来，它的最一般形式和严格数学证 明，是Halmos和Savage在1949年作出来的. 定理3.（因子分解定理）设样本X=(X1,·,Xn)的概率函数f(x,9)=f(x1,·,xn:)依 赖于参数日，T=T(X)=(T1(X),·,Tk(X)是一个统计量，则T为充分统计量的充要条件 是f(x,)可以分解为 f(x,9)=g(T(x),)h(x) (2.2) 的形状.注意此处函数h(x)=h(x1,·,工n)不依赖于0 这里概率函数是指：若X为连续型，则f(x,)是其密度函数；若X是离散型，则f(x,)= Pa(X1=x1,·,Xn=xn),即样本X的概率分布. 推论1.设T=T(X)为0的充分统计量，S=(T)是单值可逆函数，则S=(T)也是0的充分统 计量。 例3.设X=(X1,·,Xn)为从正态总体N(a,o2)中抽取的简单样本，令0=(a,o2),则T(X)= (=1X,∑1X)为充分统计量. Proof.样本X的联合密度为 k=(2a)”m-aa-r =1 =(a高)”m-(宫-2如空+m》 =g(T(x),)·h(x) 此处(x)三1，故由因子分解定理可知T(X)=(∑=1X,∑1X)为充分统计量。 由于（∑”1X,∑”1X)与（下，S2)为一一对应的变换，由推论可知(X,S2)也是充分统计量. 例4.设X=(X1,…,Xn)为从总体b(1,)中抽取的简单样本，则T(X)=∑1X:是充分统计 量 Proof.样本X的联合分布是 f(x,θ)=P%(X1=x1,…,Xn=xn) =0点(1-”-三“=g(T(x),0)h(x. 此处h(x)三1，故由因子分解定理可知T(X)=∑1X,为充分统计量. 0 5
˘p|^ eØ¢: °{(Y1 · · · Yn) : Y1 = √ nt = y1}¥d°{(X1, · · · , Xn) : T(X) = t}²^= 5,°±ÿC. œd3°{(X1, · · · , Xn) : T(X) = t}˛^áV«Ü3 °{Y1, · · · , Yn) : Y1 = y1} ˛^áV«É”. k f(x1, · · · , xn|T = t) = f(y1, · · · , yn|Y1 = y1) = (2π) − n−1 2 e − 1 2 Pn i=2 y 2 i ÜθÃ', §±T(X) = X¯¥ø©⁄O˛. !ø©5OOK—œf©)½n œf©)½n¥dR.A. Fisher 3õVõcìJ—5,ßÅòÑ/™⁄ÓÇÍÆy ², ¥Halmos ⁄Savage31949cä—5. ½n 3. ( œf©)½n) X = (X1, · · · , Xn)V«ºÍf(x, θ) = f(x1, · · · , xn; θ) ù 6uÎÍθ, T = T(X) = (T1(X), · · · , Tk(X)¥òá⁄O˛, KTèø©⁄O˛øá^á ¥f(x, θ)屩)è f(x, θ) = g(T(x), θ)h(x) (2.2) /G.5ød?ºÍh(x) = h(x1, · · · , xn)ÿù6uθ. ˘pV«ºÍ¥ç: eXèÎY., Kf(x, θ)¥Ÿó›ºÍ; eX¥l—., Kf(x, θ) = Pθ(X1 = x1, · · · , Xn = xn), = XV«©Ÿ. Ìÿ 1. T = T(X)èθø©⁄O˛, S = ϕ(T)¥¸äå_ºÍ, KS = ϕ(T)è¥θø©⁄ O˛. ~3. X = (X1, · · · , Xn)èloNN(a, σ2 )•ƒ{¸ , -θ = (a, σ2 ), KT(X) = ( Pn i=1 Xi , Pn i=1 X2 i )èø©⁄O˛. Proof. XÈ‹ó›è f(x, θ) = 1 √ 2πσ n expn − 1 2σ 2 Xn i=1 (xi − a) 2 o = 1 √ 2πσ n expn − 1 2σ 2 Xn i=1 x 2 i − 2a Xn i=1 xi + na2 o = g(T(x), θ) · h(x). d?h(x) ≡ 1, dœf©)½nåT(X) = (Pn i=1 Xi , Pn i=1 X2 i )èø©⁄O˛. du( Pn i=1 Xi , Pn i=1 X2 i )Ü(X, S ¯ 2 )èòòÈACÜ, dÌÿå(X, S ¯ 2 )è¥ø©⁄O˛. ~4. X = (X1, · · · , Xn)èloNb(1, θ)•ƒ{¸ , KT(X) = Pn i=1 Xi¥ø©⁄O ˛. Proof. XÈ‹©Ÿ¥ f(x, θ) = Pθ(X1 = x1, · · · , Xn = xn) = θ Pn i=1 xi (1 − θ) n− Pn i=1 xi = g(T(x), θ)h(x). d?h(x) ≡ 1, dœf©)½nåT(X) = Pn i=1 Xièø©⁄O˛. 5