法则为 6(x)=arg min(x)x-) =argmin-2x'2-g+4g∑-lhg+x∑-1x arg max 2xΣ-4g-4g8- 此时g=xg,分=Spol=∑，(ng-1)Sg/(m-k), n=1+··+nk. -DQDA(对角二次法则)若XIlg~Nn(g,∑g),其中∑g= diag(o,…,p),则最大似然判别法则为 6(x)=arg min (z.-pa)+o( 此时，产g=元g,g=diag(Sg)》 Previous Next First Last Back Forward 10
法则为 δ(x) = arg min g [ (x − µg) ′Σ −1 (x − µg) ] = arg min g [ − 2x ′Σ −1 µg + µ ′ gΣ −1 µg + x ′Σ −1 x ] = arg max g [ 2x ′Σ −1 µg − µ ′ gΣ −1 µg ] 此时 µˆg = x¯g, Σ = ˆ Spool = ∑ g (ng − 1)Sg/(n − k), n = n1 + · · · + nk. – DQDA(对角二次法则) 若 X|g ∼ Np(µg, Σg), 其中 Σg = diag(σ 2 g1, . . . , σ2 gp), 则最大似然判别法则为 δ(x) = arg min g ∑p i=1 [ (xi − µgi) 2 σ 2 gi + log(σ 2 gi) ] 此时, µˆg = x¯g, Σˆ g = diag(Sg) Previous Next First Last Back Forward 10
-DLDA(对角线性法则)若Xlg~N(g,),其中∑= diag(oi,·,o),则最大似然判别法则为 6y=arg min乃-4e上 i=1 此时，产g=g,立=diag(Spool） Previous Next First Last Back Forward 11
– DLDA(对角线性法则) 若 X|g ∼ Np(µg, Σ), 其中 Σ = diag(σ 2 1, . . . , σ2 p), 则最大似然判别法则为 δ(x) = arg min g ∑p i=1 (xi − µgi) 2 σ 2 i 此时, µˆg = x¯g, Σ =ˆ diag(Spool) Previous Next First Last Back Forward 11
1.4 Bayes判别分析 ·假设有两个总体（类），G=1,2表示类别.x为取值2上的多 元观测，且xG=9~Pg(x),9=1,2.p为概率函数. ·记两个类的先验概率为P(G=g)=πg,9=1,2. 。对任意给定的观测x,目的是把x归到两个类中的某个.记R 为第一类的决策区域，则 1,x∈R 6x0=2, x∈R2=2-R1 。决策的损失： c(2l1)>0,x∈R2,G=1 L(6(x),G)= c(12)>0,x∈R1,G=2 0, otherwise Previous Next First Last Back Forward 12
1.4 Bayes 判别分析 • 假设有两个总体 (类), G = 1, 2 表示类别. x 为取值 Ω 上的多 元观测, 且 x|G = g ∼ pg(x), g = 1, 2. p 为概率函数. • 记两个类的先验概率为 P(G = g) = πg, g = 1, 2. • 对任意给定的观测 x, 目的是把 x 归到两个类中的某个. 记 R1 为第一类的决策区域, 则 δ(X) = { 1, x ∈ R1 2, x ∈ R2 = Ω − R1 • 决策的损失: L(δ(x), G) = c(2|1) > 0, x ∈ R2, G = 1 c(1|2) > 0, x ∈ R1, G = 2 0, otherwise Previous Next First Last Back Forward 12
·从而错误分类带来的平均损失为(ECM,Expected Cost of Mis- classification)(Bayes风险)： ECM=c(21)P(21)r1+c(12)P(12)x2 EGEXIGL((x),G)=R(6,G) 其中分类P(21),P(12)为错误分类概率： -P(21)=P(x∈R2|G=1)=∫p1(x)dx -P(12)=P(x∈R1G=2)=∫a,p2(x)dx ·因此最优决策(Bayes解)即为 6*(X)=arg min ECM arg min R(6,G) R1.R2 从而得到最优分类法则（练习11.3） 6*(X)= 1,x∈{：8≥器} P2(X) 2, xe{防：图<品) Previous Next First Last Back Forward 13
• 从而错误分类带来的平均损失为 (ECM, Expected Cost of Misclassification)(Bayes 风险): ECM = c(2|1)P(2|1)π1 + c(1|2)P(1|2)π2 = EGEx|GL(δ(x), G) = R(δ, G) 其中分类 P(2|1), P(1|2) 为错误分类概率: – P(2|1) = P(x ∈ R2|G = 1) = ∫ R2 p1(x)dx – P(1|2) = P(x ∈ R1|G = 2) = ∫ R1 p2(x)dx • 因此最优决策 (Bayes 解) 即为 δ ∗ (X) = arg min R1,R2 ECM = arg min δ R(δ, G) 从而得到最优分类法则 (练习 11.3) δ ∗ (X) = { 1, x ∈ {R ∗ 1 : p1(x) p2(x) ≥ c(1|2) c(2|1) π2 π1 } 2, x ∈ {R ∗ 2 : p1(x) p2(x) < c(1|2) c(2|1) π2 π1 } Previous Next First Last Back Forward 13
一分类法则中等式成立时候，可以采取进一步的措施（比如 随机化)来确定分类法则的值 一2/π1=1，两个类的先验概率相同.常常用于对两个类没 有先验信息时候 c(12)/c(21)=1,错误分类的损失相同.常常用于没有明 确分类损失时候】 -(c(12)/c(21)(π2/π1)=1，此时为似然法则. 一对一个观测x0,由于 P(G=1X=x0)= p1(X0)m1 p1(x0)1+pP2(X0)π2 P(G=2X=x0)= P2(X0)T2 p1(X0)T1+p2(X0)π2 。因此按照后验概率原则：当P(G=1X=xo)> P(G=2X=xo)时候将xo分到第一类，否则分到第 二类 Previous Next First Last Back Forward 14
– 分类法则中等式成立时候, 可以采取进一步的措施 (比如 随机化) 来确定分类法则的值. – π2/π1 = 1, 两个类的先验概率相同. 常常用于对两个类没 有先验信息时候. – c(1|2)/c(2|1) = 1, 错误分类的损失相同. 常常用于没有明 确分类损失时候. – (c(1|2)/c(2|1))(π2/π1) = 1, 此时为似然法则. – 对一个观测 x0, 由于 P(G = 1|X = x0) = p1(x0)π1 p1(x0)π1 + p2(x0)π2 P(G = 2|X = x0) = p2(x0)π2 p1(x0)π1 + p2(x0)π2 ◃ 因此按照后验概率原则: 当 P(G = 1|X = x0) > P(G = 2|X = x0) 时候将 x0 分到第一类, 否则分到第 二类. Previous Next First Last Back Forward 14