例3设X1X2,Xn是总体X的随机样本,且总体的二 阶矩存在。试求总体均数u和总体方差02的矩估计量 解因为 ∫A=E(X)=H 2=E(X2)=V(X)+[E(X)2=a2+ 解得 =11 分别以A1,A2代替u1,2,得u和02的矩估计量分别 为 u=A=X ∑ X-X ∑ (X1-X) 所得结果表明,总体均值与方差的矩估计量不因不同的 总体分布而异
例3 设X1 ,X2 ,┅,Xn 是总体X的随机样本,且总体的二 阶矩存在。试求总体均数μ和总体方差σ2 的矩估计量。 解 因为 解得 分别以A1 ,A2 代替μ1 ,μ2 ，得μ和σ2 的矩估计量分别 为 所得结果表明，总体均值与方差的矩估计量不因不同的 总体分布而异 . = = + = + = = 2 2 2 2 2 1 ( ) ( ) [ ( )] ( ) E X V X E X E X = − = 2 2 1 2 1 2 1 2 1 2 2 2 1 2 1 ( ) 1 1 ˆ ˆ , = = = − = − = − = = n i i n i i X X n X X n A A A X
矩估计法的基本思想是:如果总体中有k个未知参数可 以用前k阶样本矩估计相应的前k阶总体矩,然后利用未 知参数与总体矩的函数关系,求出参数的估计量,即为 矩估计量。 具体作法是:令总体矩μ=A(样本矩),i=1,2,…,k, 得到一个包含k个未知参数0,02…,01的联立方程,从中 解出θ1,02,…,01,则这组解 ,02就作0,2… 0的矩估计量。其观察值就是矩估计值。 点估计的矩估计法是由皮尔逊( Pearson提出的,它直观、简便, 特别对总体数学期望和方差进行估计时不需要知道总体的分布。但 是它要求总体原点矩存在,而有些随机变量(如柯西分布)的原点 矩不存在,因此就不能用此法进行参数估计。此外,矩法估计有时 不唯一(如泊松分布中参数λ的矩法估计按例3有 元=X,元=∑(X1-H) 因为E(X)=(xX)=A),有时不合理(如离散型均匀分布中参数N的矩 估计量为X-1不一定为正整数,推导略);再者,它常常没有 利用总体分布函数提供的信息,因此很难保证它有优良的性质
矩估计法的基本思想是：如果总体中有k个未知参数可 以用前k阶样本矩估计相应的前k阶总体矩，然后利用未 知参数与总体矩的函数关系，求出参数的估计量，即为 矩估计量。 具体作法是：令总体矩μi=Ai (样本矩) ，i =1,2, …,k， 得到一个包含k个未知参数 θ1 ,θ2 ,…, θk 的联立方程，从中 解出θ1 ,θ2 ,…, θk ，则这组解 就作为θ1 ,θ2 ,…, θk 的矩估计量。其观察值就是矩估计值。 点估计的矩估计法是由皮尔逊(Pearson)提出的，它直观、简便， 特别对总体数学期望和方差进行估计时不需要知道总体的分布。但 是它要求总体原点矩存在，而有些随机变量（如柯西分布）的原点 矩不存在，因此就不能用此法进行参数估计。此外，矩法估计有时 不唯一（如泊松分布中参数λ的矩法估计按例3有 因为E(X)=V(X)= λ),有时不合理（如离散型均匀分布中参数N的矩 估计量为 不一定为正整数，推导略）；再者，它常常没有 利用总体分布函数提供的信息，因此很难保证它有优良的性质。 = = = − n i Xi X n X 1 2 ( ) 1 ˆ , ˆ 2X −1 k ˆ , , ˆ , ˆ 1 2
§5.12最大似然估计法 如果一事件发生的概率为p,且p只能取001或09。现在在连续 两次试验中该事件都发生了,显然认为p=0.9是合理的。两人向同 目标各打一枪,一人击中目标,另一人没击中目标,认为击中目标 者比没击中目标者射击技术好也是合理的,这些都是极大似然估 计法的基本思想。即使样本获得最大概率的参数值作为未知参数的 估 计值。 若总体X属于离散型,其分布律P{X=x}=p(x,0),0∈的形式为已 知,0为待估参数,是参数的可能取值范围。设X,Yx“yX是来 自总体X的样本,则X1X2,Xn的联合分布律为 P(x,0) 又设x1,x2,x是相应于样本X1,X2,Xn的一个样本值。易知样本 1x2-xn取到观察值x1x2;xn的概率,亦即事件 P{X=x1X2=x2…,xnxn}发生的概率为 L()=L(x1,x2…,xn:0)=∏P(x,),B∈ 这一概率随θ的取值而变化,它是0的函数,L(0)称为样本的似然函 数(注意,这里x1,x2“,x1是已知的样本值,它们都是常数)
§5.1.2 最大似然估计法 如果一事件发生的概率为p，且p只能取0.01或0.9。现在在连续 两次试验中该事件都发生了，显然认为p=0.9是合理的。两人向同一 目标各打一枪，一人击中目标，另一人没击中目标，认为击中目标 者比没击中目标者射击技术好也是合理的， 这些都是极大似然估 计法的基本思想。即使样本获得最大概率的参数值作为未知参数的 估 计值。 若总体X属于离散型，其分布律P{X=x}=p(x,θ),θ∈Θ 的形式为已 知，θ为待估参数，Θ是参数θ的可能取值范围。设X1 ,X2 ,┅,Xn是来 自总体X的样本，则X1 ,X2 ,┅,Xn的联合分布律为 又设x1 ,x2 ,┅,xn是相应于样本X1 ,X2 ,┅,Xn的一个样本值。易知样本 X1 ,X2 ,┅,Xn 取到观察值x1 ,x2 ,┅,xn的概率，亦即事件 P{X1=x1 ,X2=x2 ,…,Xn=xn } 发生的概率为 这一概率随θ的取值而变化，它是θ的函数，L(θ)称为样本的似然函 数（注意，这里x1 ,x2 ,┅,xn是已知的样本值，它们都是常数） = n i i P x 1 ( , ) = = = n i n i L L x x x P x 1 1 2 ( ) ( , ,, ; ) ( , ) ,
关于最大似然估计法,我们有以下的直观想法:现在已经取到 样本值x1x2 这表明取到这一样本值的概率L(0)比较大 我们当然不会考虑那些不能使样本x1,x2,x1出现的0∈⊙作为0的估 计,再者,如果已知当0=∈时使L(0取很大值,而0中的其它0 值使L(O)取很小值,我们自然认为0作为未知参数0的估计值,较为 合理。由费希尔( R.A. Fisher)引进的最大似然估计法,就是固定样 本观察值x1,x2xn,在0取值的可能范围0内挑选使似然函数 L(x1,x2,x;)达到最大的参数值日,作为参数0的估计值。即使 L(x12x2,…,xn;6)=maxL(x1,x2…xn;) 6∈ 这样得到的O与样本值xx2“x有关,常记为(x1,x2,…x) 称为参数0的最大似然估计值,而相应的统计量 称为参数θ的最大似然估计量。 6(X1,X2…Xn) 这样,确定最大似然估计量的就归结为微分学中的求最大值的 问题了 在很多情形下,p(x,0)关于0可微,这时0可从方程 L(6)=0 解得。又因L(0)与nL(0)在同一0处 d
关于最大似然估计法，我们有以下的直观想法：现在已经取到 样本值x1 ,x2 ,┅,xn了，这表明取到这一样本值的概率L(θ)比较大。 我们当然不会考虑那些不能使样本x1 ,x2 ,┅,xn出现的θ∈Θ 作为θ的估 计，再者，如果已知当θ=θ0∈Θ 时使L(θ)取很大值，而Θ中的其它θ 值使L(θ)取很小值，我们自然认为θ0作为未知参数θ的估计值，较为 合理。由费希尔（R.A.Fisher)引进的最大似然估计法，就是固定样 本观察值x1 ,x2 ,┅,xn，在θ取值的可能范围Θ内挑选使似然函数 L(x1 ,x2 ,…,xn ;θ) 达到最大的参数值 ，作为参数θ的估计值。即使 这样得到的 与样本值x1 ,x2 ,┅,xn有关，常记为 ， 称为参数θ的最大似然估计值，而相应的统计量 称为参数θ的最大似然估计量。 这样，确定最大似然估计量的就归结为微分学中的求最大值的 问题了。 在很多情形下，p(x,θ)关于θ可微，这时θ可从方程 解得。又因L(θ)与ln L(θ)在同一θ处 ˆ max ( , , , ; ) ˆ ( , , , 1 2 1 2 n n L x x x L x x x ； ）= ( , , , ) ˆ 1 2 n x x x ( , , , ) ˆ X1 X2 Xn ( ) = 0 L d d ˆ
取到极值,因此,的最大似然a 估计值0也可以从方程 nL()=0 de 求得,而从后一方程求解往往比较方便,上式称为对数似然方程 例4设X-B(1,p)。X1,X2,Xn是来自总体X的一个样本,试求 参数p的最大似然估计量 解设x1,x2x是相应于样本X1X2,Xn的一个样本值。X的分 布律为 P{X=x}=p(1-p),x=0,1 故似然函数为()=∏p(1-p)x=p2(1-)∑n 血L(p)=∑x)hp+(m-∑x)h(1-p) 而 令血L(p)=C∑x)P-(n-∑x)(1-p)=0 解得p的最大似然估计值 ∑x=x p的最大似然估计量P=∑X=X。它与矩估计量是相同的
取到极值，因此，θ的最大似然 估计值θ也可以从方程 求得，而从后一方程求解往往比较方便，上式称为对数似然方程。 例4 设X~B(1,p)。X1 ,X2 ,┅,Xn 是来自总体X的一个样本，试求 参数p的最大似然估计量。 解 设x1 ,x2 ,┅,xn是相应于样本X1 ,X2 ,┅,Xn的一个样本值。X的分 布律为 故似然函数为 而 令 解得p的最大似然估计值 p的最大似然估计量 。它与矩估计量是相同的。 ln ( ) = 0 L d d { } (1 ) , 0,1. 1 = = − = − P X x p p x x x − = − = = = − = − n i i n i i i i x n x n i x x L p p p p p 1 1 ( ) (1 ) (1 ) 1 1 ln ( ) ( )ln ( )ln(1 ) 1 1 L p x p n x p n i i n i = i + − − = = = = = − − − = n i i n i L p xi p n x p dp d 1 1 ln ( ) ( )/ ( )/(1 ) 0 = = = n i i x x n p 1 1 ˆ = = = n i Xi X n p 1 1 ˆ