其中∑。表示总体Gg的协方差矩阵。 ·记xg和S,分别表示总体Gg的样本均值和样本协方差矩阵， 则马氏距离判别法则为 6(x)=argmin(x-元g)YSg(x-元g) 。如果k个总体的方差是相同的，则使用所有训练样本估计∑： 2=Spool=∑，(ng-1)Sg/(n-),n=n1+…+nk ·距离判别法与各总体出现的概率无关，与判错后造成的损失无 关。总体位置和距离度量准则的选取至关重要。 Previous Next First Last Back Forward S
其中 Σg 表示总体 Gg 的协方差矩阵。 • 记 x¯g 和 Sg 分别表示总体 Gg 的样本均值和样本协方差矩阵， 则马氏距离判别法则为 δ(x) = arg min g (x − x¯g) ′ Sˆ−1 g (x − x¯g) • 如果 k 个总体的方差是相同的，则使用所有训练样本估计 Σ： Σ =ˆ Spool = ∑ g (ng − 1)Sg/(n − k), n = n1 + · · · + nk • 距离判别法与各总体出现的概率无关，与判错后造成的损失无 关。总体位置和距离度量准则的选取至关重要。 Previous Next First Last Back Forward 5
1.3最大似然方法 ·最大似然分类器(MLC)选择使观测机会最大的类 。假设每个类的条件概率函数（密度或者分布律）为 Pg(x)=Pr(x G=g),g=1,...,k ·最大似然判别法则通过确定X的最大似然来预测观测x的类： 6(x)=arg maxpg(x) ·对两分类问题（化=2），最大似然判别法则(x)等价于决策函 数h(x)=p1(x)/p2(x)-1来表示（分类规则，决策法则）： 6(x)= 1,h(x)>0, 2,h(x)<0. Previous Next First Last Back Forward 6
1.3 最大似然方法 • 最大似然分类器 (MLC) 选择使观测机会最大的类 • 假设每个类的条件概率函数 (密度或者分布律) 为 pg(x) = P r(x|G = g), g = 1, . . . , k • 最大似然判别法则通过确定 X 的最大似然来预测观测 x 的类: δ(x) = arg max g pg(x) • 对两分类问题 (k = 2)，最大似然判别法则 δ(x) 等价于决策函 数 h(x) = p1(x)/p2(x) − 1 来表示 (分类规则, 决策法则)： δ(x) = { 1, h(x) > 0, 2, h(x) < 0. Previous Next First Last Back Forward 6
其中(x)=0称为决策边界。此时错误将第1类的个体分类 到第2类的概率为 p21=P(6(x)=2g=1)= Pi(u)du (1.1) 而错误将第2类的个体分类到第1类的概率为 pP12=P(6(x)=1g=2)= p2(u)du, (1.2) h(u)>0 因此总错误分类概率(TPM,total probability of missclassifi- cation)为 TPM=p21+P12 =o pi(u)du+ p2(u)du h(u)<0 h(u)>0 =1- pi(u)-p2(u)]du. (1.3) p1(u)>p2(u) Previous Next First Last Back Forward
其中 h(x) = 0 称为决策边界。此时错误将第 1 类的个体分类 到第 2 类的概率为 p21 = P(δ(x) = 2|g = 1) = ∫ h(u)<0 p1(u)du, (1.1) 而错误将第 2 类的个体分类到第 1 类的概率为 p12 = P(δ(x) = 1|g = 2) = ∫ h(u)>0 p2(u)du, (1.2) 因此总错误分类概率 (TPM, total probability of missclassification) 为 T PM = p21 + p12 = ∫ h(u)<0 p1(u)du + ∫ h(u)>0 p2(u)du = 1 − ∫ p1(u)>p2(u) [p1(u) − p2(u)]du. (1.3) Previous Next First Last Back Forward 7
可以看出，最大似然判别法则最小化总错误分类概率。 考虑两个一元正态总体： TExample Π1：N(41,o2), Π2：N(2,o2),山1<2 求最大似然判别法则。 ⊥Example 容易解出 h=ep-2ae-mP-e-四9-】 从而 Previous Next First Last Back Forward
可以看出，最大似然判别法则最小化总错误分类概率。 ↑Example 考虑两个一元正态总体： Π1 : N(µ1, σ 2 ), Π2 : N(µ2, σ 2 ), µ1 < µ2 求最大似然判别法则. ↓Example 容易解出 h(x) = exp{− 1 2σ2 ((x − µ1) 2 − (x − µ2) 2 )} − 1 从而 δ(x) = { 1, h(x) > 0, 2, h(x) < 0. = { 1, x < (µ1 + µ2)/2, 2, x > (µ1 + µ2)/2. Previous Next First Last Back Forward 8
·若总体为正态分布，则 -QDA(二次型法则)若XIg~N(g,∑g),则最大似然判 别法则为 6(x)=arg min (x-ua)'(x-ua)+logol 实际中，4g,乃g使用训练样本估计产g=xg,立g=Sg.从 而判别函数为 6(x)=arg min(xa)xa)+log -LDA(线性法则)若Xlg~N(μg,),则最大似然判别 Previous Next First Last Back Forward 9
• 若总体为正态分布，则 – QDA(二次型法则) 若 X|g ∼ Np(µg, Σg), 则最大似然判 别法则为 δ(x) = arg min g [ (x − µg) ′Σ −1 g (x − µg) + log|Σg| ] 实际中, µg, Σg 使用训练样本估计 µˆg = x¯g, Σˆ g = Sg. 从 而判别函数为 δ(x) = arg min g [ (x − µˆg) ′Σˆ −1 g (x − µˆg) + log|Σˆ g| ] – LDA(线性法则) 若 X|g ∼ Np(µg, Σ), 则最大似然判别 Previous Next First Last Back Forward 9