简介 1.1 最大似然估计.. 1 1.2 最大似然估计的性质 12 l.3 Wishart分布，. 17 1.4评估正态性假设... 21 1.5异常点检测 32 1.6正态化变换 35 Previous Next First Last Back Forward 1
简介 1.1 最大似然估计 . . . . . . . . . . . . . . . . . . 1 1.2 最大似然估计的性质 . . . . . . . . . . . . . . 12 1.3 Wishart 分布 . . . . . . . . . . . . . . . . . . 17 1.4 评估正态性假设 . . . . . . . . . . . . . . . . . 21 1.5 异常点检测 . . . . . . . . . . . . . . . . . . . 32 1.6 正态化变换 . . . . . . . . . . . . . . . . . . . 35 Previous Next First Last Back Forward 1
多元正态分布的参数：和∑可以使用不同的统计推断方法来估 计. 1.1最大似然估计 设X1,,Xnii.dNn(μ，)，则负对数似然函数为 a,)x号1og1四+2∑(x-r空'(x-四 =2ogl+2r四-∑(x:-刘'x-刘划 +分u-刘②'(u-刘 Previous Next First Last Back Forward 1
多元正态分布的参数 µ 和 Σ 可以使用不同的统计推断方法来估 计. 1.1 最大似然估计 设 X1, . . . , Xni.i.d ∼ Np(µ, Σ), 则负对数似然函数 为 l(µ, Σ) ∝ n 2 log|Σ| + 1 2 ∑n i=1 (xi − µ) ′Σ −1 (x − µ) = n 2 log|Σ| + 1 2 tr[Σ−1∑n i=1 (xi − x¯) ′ (xi − x¯)] + n 2 (µ − x¯) ′Σ −1 (µ − x¯) Previous Next First Last Back Forward 1
最大化似然函数等价于最小化上述函数.令“.=0和“= 0,(忽略Σ的对称性)我们得到 -81∑x-四=0， n1--1∑x-x-四z-1=0 从而得到解 =x应= ∑x-(x- 注意到 1(,)≥（位，），等号成立当且仅当μ=立 从而 min l(u,)=min 1(庄，) μ，2>0 320 Previous Next First Last Back Forward 2
最大化似然函数等价于最小化上述函数. 令 ∂l(µ,Σ) ∂µ = 0 和 ∂l(µ,Σ) ∂Σ = 0, (忽略 Σ 的对称性) 我们得到 −Σ −1∑n i=1 (xi − µ) = 0, nΣ −1 − Σ −1∑n i=1 (xi − µ)(xi − µ) ′Σ −1 = 0 从而得到解 µˆ = x¯, Σ =ˆ 1 n ∑n i=1 (x − µˆ)(x − µˆ) ′ 注意到 l(µ, Σ) ≥ l(ˆµ, Σ), 等号成立当且仅当 µ = ˆµ 从而 min µ,Σ>0 l(µ, Σ) = min Σ>0 l(ˆµ, Σ) Previous Next First Last Back Forward 2
下面的引理证明了立是（位，）的最小值点.从而得到最大似然估计 fmle=元， 其中文=∑=1X 引理1.设B为p阶正定矩阵，n>0为实数，在对所有p阶正定矩 阵∑有 21ogl四+r-B周≥log+罗1--logn) 当且仅当∑=品B时等号成立. 证明.由B>0,故存在可逆对称阵C,使得B=CC.记立= C-1C-1,则=B,有 21ogl闷+r-周=1 og+1ogl闷l+ri-1 i=1 Previous Next First Last Back Forward 3
下面的引理证明了 Σˆ 是 l(ˆµ, Σ) 的最小值点. 从而得到最大似然估计 µˆmle = x¯, Σˆmle = 1 n ∑n i=1 (xi − x¯)(xi − x¯) ′ 其中 x¯ = 1 n ∑n i=1 Xi. 引理 1. 设 B 为 p 阶正定矩阵, n > 0 为实数, 在对所有 p 阶正定矩 阵 Σ 有 n 2 log|Σ| + 1 2 tr[Σ−1B] ≥ n 2 log|B| + pn 2 (1 − logn) 当且仅当 Σ = 1 nB 时等号成立. 证明. 由 B > 0, 故存在可逆对称阵 C, 使得 B = CC. 记 Σ = ˜ C −1ΣC −1 , 则 |Σ| = |B||Σ˜|, 有 n 2 log|Σ| + 1 2 tr[Σ−1B] = n 2 log|B| + n 2 log|Σ˜| + 1 2 tr[Σ˜ −1 ] = n 2 log|B| + 1 2 ∑p i=1 [nlogλi + 1 λi ], Previous Next First Last Back Forward 3
其中入1≥…≥入p>0为立的特征根，于是 典ogl四+ri-B}=登ogll+鹏 nlogi] 注意到函数g()=是+nlog()在入=1/n处达到极小值，故上式当 入1=…入p=时达到极小值，即立=1，等价地 2=C2C=1cC=1B. ▣ 使用上述引理来证明∑的最大似然估计时候，需要B=∑”1(X:- )'(X:-)>0成立.这是一随机矩阵，因此我们需要证明当n>p 时，P(B>0)=1. Previous Next First Last Back Forward 4
其中 λ1 ≥ · · · ≥ λp > 0 为 Σ˜ 的特征根, 于是 min Σ>0 { n 2 log|Σ| + 1 2 tr[Σ−1B]} = n 2 log|B| + 1 2 min λj>0 ∑p i=1 [ 1 λi + nlogλi] 注意到函数 g(λ) = 1 λ + nlog(λ) 在 λ = 1/n 处达到极小值, 故上式当 λ1 = · · · λp = 1 n 时达到极小值, 即 Σ =˜ 1 n Ip, 等价地 Σ =ˆ CΣ˜C = 1 n CC = 1 n B. 使用上述引理来证明 Σ 的最大似然估计时候, 需要 B = ∑n i=1(Xi− x¯) ′ (Xi − x¯) > 0 成立. 这是一随机矩阵, 因此我们需要证明当 n > p 时,P(B > 0) = 1. Previous Next First Last Back Forward 4