SVM算法最初是为二值分类问题设计的,当处理多类问题时,就需要构造合适的多类分类器。
目前,构造SVM多类分类器的方法主要有两类:一类是直接法,直接在目标函数上进行修改,将多个分类面的参数求解合并到一个最优化问题中,通过求解该最优化问题“一次性”实现多类分类。这种方法看似简单,但其计算复杂度比较高,实现起来比较困难,只适合用于小型问题中;另一类是间接法,主要是通过组合多个二分类器来实现多分类器的构造,常见的方法有one-against-one和one-against-all两种。
a.一对多法(one-versus-rest,简称1-v-r SVMs, OVR SVMs)。训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类,这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。
假如我有四类要划分(也就是4个Label),它们是A、B、C、D。于是我在抽取训练集的时候,分别抽取A所对应的向量作为正集,B,C,D所对应的向量作为负集;B所对应的向量作为正集,A,C,D所对应的向量作为负集;C所对应的向量作为正集, A,B,D所对应的向量作为负集;D所对应的向量作为正集,A,B,C所对应的向量作为负集,这四个训练集分别进行训练,然后的得到四个训练结果文件,在测试的时候,把对应的测试向量分别利用这四个训练结果文件进行测试,最后每个测试都有一个结果f1(x),f2(x),f3(x),f4(x).于是最终的结果便是这四个值中最大的一个。
p.s.: 这种方法有种缺陷,因为训练集是1:M,这种情况下存在biased.因而不是很实用.
b.一对一法(one-versus-one,简称1-v-1 SVMs, OVO SVMs, pairwise)。其做法是在任意两类样本之间设计一个SVM,因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时,最后得票最多的类别即为该未知样本的类别。Libsvm中的多类分类就是根据这个方法实现的。
投票是这样进行的.
A=B=C=D=0;
(A, B)-classifier 如果是A win,则A=A+1;otherwise,B=B+1;
(A,C)-classifer 如果是A win,则A=A+1;otherwise, C=C+1;
...
(C,D)-classifer 如果是A win,则C=C+1;otherwise,D=D+1;
The decision is the Max(A,B,C,D)
p.s.: 这种方法虽然好,但是当类别很多的时候,model的个数是n*(n-1)/2,代价还是相当大的.
c.层次支持向量机(H-SVMs)。层次分类法首先将所有类别分成两个子类,再将子类进一步划分成两个次级子类,如此循环,直到得到一个单独的类别为止。
d.其他多类分类方法。除了以上几种方法外,还有有向无环图SVM(Directed Acyclic Graph SVMs,简称DAG-SVMs)和对类别进行二进制编码的纠错编码SVMs。
对c和d两种方法的详细说明可以参考论文《支持向量机在多类分类问题中的推广》(计算机工程与应用。2004)
最后,推荐两篇对多元分类策略的文章:A Comparison of Multiclass SVM Methods;A Comparison of Methods for Multi-class Support Vector Machines
分享到:
相关推荐
Multi-Class Imbalanced Learning with One-versus-One Decomposition: An Empirical Study
Poroelastic analysis of amplitude-versus-frequency variations
Graph-Cuts versus Level-Sets,ECCV06_tutorial_partI-partIV
连续电除颤与单次电除颤在长时程心室颤动中的疗效对比研究,王伯松,钟敬泉,目的:评价连续电除颤与单次电除颤在长时程心室颤动(室颤)中的抢救效果。方法:将24只犬采用体外电击法制备室颤动物模型,室颤�
CD3单抗在小鼠模型上减弱输血相关移植物抗宿主病,李晓帆,胡晚育,输血相关的移植物抗宿主病(TA-GVHD)是输血的并发症。TA-GVHD的后果很严重。TA-GVHD的死亡率为90%~100%。近年来随着免疫抑制治疗应用的�
BCC-1s15-PI3-VERSUS
MiRNA-153:一种新型生物学标记,通过下调IDO表达参与急性移植物抗宿主病发病,赵晓甦,王奕诺,目前对于移植后急性移植物抗宿主病(aGVHD)缺乏有效的预警预测指标,本文通过对患aGVHD病人血浆中微小核糖核酸(miRNA...
WT1特异性CTL在慢性粒细胞白血病异基因造血干细胞移植后移植物抗白血病效应中的作用研究,王志东,李丹,为明确WT1细胞毒T淋巴细胞在CML移植...我们通过用五聚体-流式细胞术和聚合酶链反应监测HLA-A2402慢性粒细胞白�
先决条件: 应该安装nodejs 要启动该应用程序: 解压缩档案从终端(从\ kazinov-versus-task文件夹中)运行“ npm start”命令在浏览器中浏览 请享用! 一些细节:客户端模块中没有测试。 抱歉只是没有时间。
(2)间接法,主要是通过组合多个二分类器来实现多分类器的构造,常见的方法有one-against-one和one-against-all两种。 一对多法(one-versus-rest,简称OVR SVMs) 训练时依次把某个类别的样本归为一类,其他...
Sigma- versus Pi-Koordination in Bis-indenyl- und Bis-2-methallyl-Imidokomplexen des sechswertigen Molybdäns und Wolframs: DF-Rechnungen und Kristallstrukturanalyse Sigma- versus Pi-Koordination in...
想象一下,您是一名学生,将 Scala 作为您的第一语言学习。 你会使用Java吗? 把它反过来。 您是 Java 老手。 你认为Scala很奇怪,对吧? 通过查看本项目中的 Scala 示例来判断“Scala 与 Java”。...
GitHub与(Heroku App) 轻松比较两个GitHub存储库在线查看: : 工具类ExpressJS 适用于Node.js的快速,不受限制的简约Web框架MemJS 使用Memcache的Pure Node.js客户端库控制器将ExpressJS转换为完整的MVC框架VueJS ...
MUGEN快速与启动器在不显示屏幕包的情况下发动... 创建文件quick-versus.json : { " characterColumns " : 3 , " categories " : [ { " name " : " Street Fighter " , " image " : " Street Fighter/image.png "
Abstract—An intuitive high-level argument is presented suggesting that direct-... Power dissipation versus dynamic range for recently reported heterodyne and direct-sampling receivers is examined.
新概念二-新概念英语第二册第65课-Jumbo versus the police.docx
spatiograms versus histograms for region-based tracking
整体与微服务两个应用的故事日期: 2015年7月29日星期三15:38:30 GMT-0700(PDT) 作者:原始博客文章“ The Monolith Versus the Microservice”可在找到。前言当前构建后端HTTP服务的标准方法是整体的。 HTTP...
WI-FI Direct & Bluetooth
对Vue做出React git clone 光盘React与所有 npm安装 npm运行开始