支持向量机导论1: 学习方法

中文名: [支持向量机导论]

英文名:[An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods]

中/英文版电子书下载连接: http://download.csdn.net/detail/jacoxu/4434131

本书作者Nello和John建立了SVM网站http://www.support-vector.net/ 提供在线的参考文献和一些软件的连接.

 对于刚入门了解SVM的读者可先参看July整理的[支持向量机通俗导论(理解SVM的三层境界)] http://blog.csdn.net/v_july_v/article/details/7624837 .

 SVM是在统计学习理论基础上发展起来的新一代学习算法. 是机器学习领域若干标准技术的集大成者. 它集成了最大间隔平面, Mercer, 凸二次规划, 稀疏解松弛变量等多项技术. SVM的理论体系涵盖了对偶表示(dual representations), 特征空间(feature spaces), 学习理论(learning theory), 优化理论(optimization theory)和算法(algorithms)等. 本书从学习方法超平面, 核函数, 泛化性理论, 最优化理论, 最后到SVM. 循序渐渐, 深入浅出.

 Chapter 1: 学习方法(The Learning Methodology)

构造可以从经验中学习的机器在哲学界和科技界都是研究目标之一.

1.1监督学习(Supervised Learning)

传统的编程技术只是把任务转换为一系列指令, 以达到期望的结果. 而复杂的问题无法精确制定从input data到output的方法, 即不能采用传统的编程途径来解决. 解决的strategy是让计算机从样例中学习input/output函数. 这种使用examples来合成programs的过程称为learning methodology, 且examples以input/output pairs给出时, 称为supervised learning. 这里的examples称为training data.

当inputs到outputs存在内在函数时, 该函数称为target function. 由learning algorithm输出的对target function的估计称为学习问题的solution. 对于分类问题(classification), 该函数有时称为 decision function.

有二元输出的学习问题称为binary classification, 有多个类别的学习问题称为multi-class classification, 而实数输出的问题成为回归问题(regression).

还有一些本书中没有讨论到的学习类型, 例如非监督学习(unsupervised learning), 它的数据不包含output values, 学习的任务是理解数据产生的过程. 这种类型的学习包括密度估计(density estimation), 分布类型的学习(learning the support of a distribution)和聚类(clustering)等.

学习模型的另一方面的问题是训练数据如何生成及如何输入到学习器: 批量学习(batch learning)和在线学习(on-line learning).

1.2学习和泛化性(Learning and Generalization)

The ability of a hypothesis to correctly classify data not in the training set is known as its generalization(泛化性).

1.3提高泛化性(Improving Generalization)

泛化性准则对于学习算法附加了另一种约束. 机械式学习器(a rote learner)是指能够正确分类训练数据, 但对所有未见数据会做出根本无关联性的预测. 例如过度复杂成为过拟合(overfit), 对于过度复杂的决策树(decision trees)可进行修剪操作. 奥卡姆剃刀(Ockham’s razor)是该类方法中的准则之一.

计算复杂度理论研究了两类问题: 第一类问题是是否存在算法能够在输入规模的多项式时间内运行的问题; 第二类问题是如果存在这样的算法,任意解能否在多项式时间内检验, 也就是能否在多项式时间内求解的问题. 后一类问题即为NP完全问题(NP-complete problems, NP(Non-deterministic Polynomial)多项式复杂程度的非确定性问题).

本书第4章介绍VC维(由Vapnik和Chervonenkis开创)来衡量在给定训练样例有限时可获得的泛化性能.

1.4 学习的价值和缺点(Attractions and Drawbacks of Learning)

价值: a). 由此途径解决的应用问题范围很广; b). 可望避免传统求解方法中繁琐的设计和编程; c). 借此了解人类作用的内在方式.

缺点: a). 学习算法可能是低效的, 比如出现局部最优; b). 输出的假设规模可能是大到不切实际; c). 如果训练样例数目有限, 过大的假设函数类将导致过拟合以及很差的泛化性; d). 学习算法常常受到大量参数的控制, 它们的选择往往是通过启发式的参数调节过程, 使得系统的使用困难且不可靠.

1.5 用于学习的支持向量机(Support Vector Machines for Learning)

SVM是在高危特征空间使用线性函数假设空间的学习系统, 它由一个来自最优化理论的学习算法训练, 该算法实现了由统计学习理论导出的学习偏置. 该学习策略是Corinna Cortes和Vladimir Naumovich Vapnik于1995年首先提出的, 它在解决小样本, 非线性及高维模式识别中表现出许多特有的优势, 并能够推广应用到函数拟合等其他机器学习问题中.

 

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

*

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>