简介 1.1 简介 1.2 距离判别法 4 1.3 最大似然方法 6 1.4 Bayes判别分析 12 1.5 Logistic回归 22 1.6 Fisher线性判别. 24 1.7支持向量机 37 决策树. 1.8 49 1.9k-NN方法 61 1.10分类效果的评价... 62 Previous Next First Last Back Forward 1
简介 1.1 简介 . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 距离判别法 . . . . . . . . . . . . . . . . . . . 4 1.3 最大似然方法 . . . . . . . . . . . . . . . . . . 6 1.4 Bayes 判别分析 . . . . . . . . . . . . . . . . . 12 1.5 Logistic 回归 . . . . . . . . . . . . . . . . . . 22 1.6 Fisher 线性判别 . . . . . . . . . . . . . . . . . 24 1.7 支持向量机 . . . . . . . . . . . . . . . . . . . 37 1.8 决策树 . . . . . . . . . . . . . . . . . . . . . . 49 1.9 k-NN 方法 . . . . . . . . . . . . . . . . . . . . 61 1.10 分类效果的评价 . . . . . . . . . . . . . . . . . 62 Previous Next First Last Back Forward 1
1.1 简介 ·判别(Discrimination):使用具有类别信息的观测数据(Train- ing Set,.Learning set)建立一个分类器(classifier)或者分类法 则(classification rule),其可以最大可能的区分事先定义的类。 (Separation) ·分类(Classification):给定一组新的未知类别信息的观测数据 集，使用分类器将其分配到一些已知的类中.(A1 location) ·实际应用中，判别与分类常常混在一起： 一一个作为判别的p元函数也可以用于对新的观测进行分 类 一一个分类准则常常作为判别法则使用 Previous Next First Last Back Forward
1.1 简介 • 判别 (Discrimination): 使用具有类别信息的观测数据 (Training Set, Learning set) 建立一个分类器 (classifier) 或者分类法 则 (classification rule)，其可以最大可能的区分事先定义的类。 (Separation) • 分类 (Classification) : 给定一组新的未知类别信息的观测数据 集，使用分类器将其分配到一些已知的类中.(Allocation) • 实际应用中, 判别与分类常常混在一起: – 一个作为判别的 p 元函数也可以用于对新的观测进行分 类. – 一个分类准则常常作为判别法则使用 Previous Next First Last Back Forward 1
·机器学习领域中，判别与分类称为有指导（监督）的学习(Supervised learning) 三文鱼年轮直径大小 ·拉新加 。拿大 60 0 100120140 160 180 Previous Next First Last Back Forward 2
• 机器学习领域中，判别与分类称为有指导 (监督) 的学习(Supervised learning) Previous Next First Last Back Forward 2
·假设有飞个总体（类），G=1,2,.,k表示类别.x为取值2 上的多元观测，且xG=g~pg(x),g=1,2.p为概率函数. ·对任意给定的观测x0,目的是把x0归到k个类中的某个 ·判别与分类的研究是一个交叉领域，常用方法有 一距离判别法 一最大似然判别方法 -Bayes判别 -Fisher线性判别分析(FLDA) -最近邻分类(NNC) -支持向量机(SVM),C4.5,神经网络，等等 Previous Next First Last Back Forward 2
• 假设有 k 个总体 (类), G = 1, 2, . . . , k 表示类别. x 为取值 Ω 上的多元观测, 且 x|G = g ∼ pg(x), g = 1, 2. p 为概率函数. • 对任意给定的观测 x0, 目的是把 x0 归到 k 个类中的某个. • 判别与分类的研究是一个交叉领域, 常用方法有 – 距离判别法 – 最大似然判别方法 – Bayes 判别 – Fisher 线性判别分析 (FLDA) – 最近邻分类 (NNC) – 支持向量机 (SVM), C4.5, 神经网络, 等等 Previous Next First Last Back Forward 3
1.2 距离判别法 ·基本思想：个体x距离哪个总体近，就将其判为哪个总体。因 此，如何刻画总体的位置？使用哪种距离度量？ 。对于连续数据，常使用总体期望来表示总体的位置，使用欧式 距离来度量距离。在给定训练集后，使用样本平均对总体均值 进行估计。 ·记(x,Gg)为点x到总体Gg的距离，则距离判别法则为 6(x)=arg min d(x,Ga) ·实际问题中，由于x的各分量往往测量单位不同，而欧式距离 一般没有不变性。因此，常使用马氏距离(Mahalanobis,l936) 代替： d2(x,y)=(x-y)'g(x-y),x,yEGg Previous Next First Last Back Forward 4
1.2 距离判别法 • 基本思想：个体 x 距离哪个总体近，就将其判为哪个总体。因 此，如何刻画总体的位置？使用哪种距离度量？ • 对于连续数据，常使用总体期望来表示总体的位置，使用欧式 距离来度量距离。在给定训练集后，使用样本平均对总体均值 进行估计。 • 记 d(x, Gg) 为点 x 到总体 Gg 的距离，则距离判别法则为 δ(x) = arg min g d(x, Gg) • 实际问题中，由于 x 的各分量往往测量单位不同，而欧式距离 一般没有不变性。因此，常使用马氏距离 (Mahalanobis,1936) 代替: d 2 (x, y) = (x − y) ′Σ −1 g (x − y), x, y ∈ Gg Previous Next First Last Back Forward 4