【机器学习算法笔记】4. 支持向量机（SVM）_支持向量机 ( svm )是建立在统计学习理论基础之上的新一代机器学习算法。支 持向-程序员宅基地
【机器学习算法笔记】4. 支持向量机（SVM）
给定训练样本，支持向量机建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘最大化
4.1 线性模型
考虑到用于分离超平面的决策曲面：
x到超平面的距离：
现在我们考虑到要寻找一个超平面，使得全体x到超平面的距离都大于1：（这里d=1或-1）
（这里可以看出，d取1或-1和d取2或-2是一样，在是用于分割超平面的两半）
并且满足权值向量最小化代价函数：
建立拉格朗日函数（这里也可以看出d的值不会影响函数）：
得到：
可以变为：
计算出
4.2 不可分模式的最优超平面
上面情况是一个不具有分类误差的分离超平面，我更希望找到一个最优平面，使香分类平均误差最小，这样的分类边缘称为软的。
我们将分类距离定义为：
最小化代价函数可简化为：
这里的参数C用于控制不可分离点数之间的平衡，当C比较大的时，暗示训练样本质量较高，而当C较小时，说明其存在噪声
所以不可分离情况与可分离情况，主要是在：
支持向量的个数反映了隐藏空间特征的个数。
4.3 SVM的数学解释
SVM有两个方向去看待这个问题，第一个是从拉格朗日方向（也就是前面），第二个方向是直接从目标函数（损失项和正则项角度去看）
一般来说，监督学习可以看做最小化下面的目标函数：
逻辑回归中Logistic regression中损失函数
而SVM中的 
这个方向上考虑SVM，虽然在式子相似，但在理论上是不同的，前者这里的那项C，这是在软间隔中引入的，即在不能线性可分的情况下，允许离群点存在。此时你希望分错的距离越少越好，就增大C，相当于提升了加号后式子的权重，减弱了加号前式子的权重，从而学出来的模型分错的点的距离会小，当C无穷大时，相当于没有错分的，也就是硬间隔。而后者的项C是加在正则项上的。
4.4 核方法支持向量机
超平面被写成如下形式：
此时：
4.5 SMO算法求解
首先回到我们前面一直悬而未解的问题，对偶函数最后的优化问题，这个问题可以由SMO算法来快速解决，SMO算法是最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。
按照坐标上升的思路，我们首先固定除α1以外的所有参数，然后在α1上求极值。等一下，这个思路有问题，因为如果固定α1以外的所有参数，那么α1将不再是变量（可以由其他值推出），因为问题中规定了
因此，我们需要一次选取两个参数做优化，比如α1和α2，此时α2可以由α1和其他参数表示出来。这样回带到W中，W就只是关于α1的函数了，可解。
这样，SMO的主要步骤如下：
意思是，第一步选取一对αi和αj，选取方法使用启发式方法。
第二步，固定除αi和αj之外的其他参数，确定W极值条件下的αi，αj由αi表示。
4.6 RBF的SVM
径向基网络的支持向量机结构：
对于径向基网络的支持向量机来说，其径向基函数的数目和中心分别由支持向量的个数和值来决定，其特别是：
1、有意使特征（隐藏）空间的维数足够大，使得可以在整个空间建立超平面
2、通过聚类方法找到中心。
4.7 SVM的核函数
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。
构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关参数的选择．因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重大难题，也成为科研工作者所关注的焦点，即便如此，却依然没有得到具体的理论或方法来指导核函数的选取．
1、经常使用的核函数
核函数的定义并不困难，根据泛函的有关理论，只要一种函数 K ( x i , x j ) 满足Mercer条件，它就对应某一变换空间的内积．对于判断哪些函数是核函数到目前为止也取得了重要的突破，得到Mercer定理和以下常用的核函数类型：
(1)线性核函数
(2)多项式核
(3)径向基核（RBF）
Gauss径向基函数则是局部性强的核函数，其外推能力随着参数 σ 的增大而减弱。多项式形式的核函数具有良好的全局性质。局部性较差。
(4)小波核
(5)样条核
(6)Sigmoid核函数
采用Sigmoid函数作为核函数时，支持向量机实现的就是一种多层感知器神经网络，应用SVM方法，隐含层节点数目(它确定神经网络的结构)、隐含层节点对输入节点的权值都是在设计(训练)的过程中自动确定的。而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部最小值，也保证了它对于未知样本的良好泛化能力而不会出现过学习现象。
2、核函数的选择
在选取核函数解决实际问题时，通常采用的方法有：一是利用专家的先验知识预先选定核函数；二是采用Cross-Validation交叉验证方法，即在进行核函数选取时，分别试用不同的核函数，归纳误差最小的核函数就是最好的核函数。三是混合核函数方法，该方法较之前两者是目前选取核函数的主流方法，主要是将不同的核函数结合起来后会产生更好的特性。
关于核函数的一些参考：
http://blog.csdn.net/wsj998689aa/article/details/47027365
http://blog.csdn.net/batuwuhanpei/article/details/52354822
智能推荐
什么是TCP/IP协议？-程序员宅基地
文章浏览阅读5.9w次，点赞103次，收藏665次。TCP/IP协议模型（Transmission Control Protocol/Internet Protocol），包含了一系列构成互联网基础的网络协议，是Internet的核心协议。_tcp/ip协议
linux中cgroup的简单使用_cgroup使用-程序员宅基地
文章浏览阅读2.5k次，点赞26次，收藏34次。Linux CGroup全称Linux Control Group， 是Linux内核的一个功能，用来限制，控制与分离一个进程组群的资源（如CPU、内存、磁盘输入输出等）。这个项目最早是由Google的工程师在2006年发起（主要是Paul Menage和Rohit Seth），最早的名称为进程容器（process containers）。在2007年时，因为在Linux内核中，容器（container）这个名词太过广泛，为避免混乱，被重命名为cgroup，并且被合并到2.6.24版的内核中去。_cgroup使用
Halcon缺陷检测之（Blob+差分法&&模板匹配＋差分法）_工业视觉检测开发blob-程序员宅基地
文章浏览阅读8.9k次，点赞27次，收藏166次。一、缺陷检测概述 缺陷检测是机器视觉重要的应用方向之一，由于在制造产品的过程中，表面缺陷的产生往往是不可避免的，故机器视觉的缺陷检测有较大的市场需求。熟练掌握缺陷检测是视觉工程师的必要技能。 在工业视觉检测当中，常见的工业视觉检测表面缺陷有划伤、划痕、辊印、凹坑、粗糙、波纹等外观缺陷，此外还有像一些非金属产品表面的夹杂、破损、污点，以及纸张表面的色差、压痕等。 相比于人工检测，基于机器视觉的检测有如下优点：①能24小时不间断工作②检测速度快，准确率高③检测精度高④不受外界因素的干扰，检测_工业视觉检测开发blob
openGauss洗冤录 之 copy from_copy to or from a file is prohibited for security -程序员宅基地
文章浏览阅读634次。对于copy功能PostgreSQL从9.2.4到16devel是否有过优化？或者openGauss是否持续合并或优化PostgreSQL的copy功能，这方面我没有去考证过。单纯从测试结果上看，openGauss的copy性能要略逊于PostgreSQL。当然，可能是我水平有限，所以希望各位openGauss的专家、老师集思广益，还openGauss一个真实的COPY FROM文件导入性能。（大家可以回复优化方案，我这边去做验证）_copy to or from a file is prohibited for security concerns
基于springboot的体育馆使用预约系统_基于springboot的体育馆预约管理系统-程序员宅基地
文章浏览阅读1.1k次，点赞23次，收藏27次。基于springboot的体育馆使用预约系统_基于springboot的体育馆预约管理系统
Spring、SpringBoot常见面试题与答案_spring和springboot的常见面试题-程序员宅基地
文章浏览阅读390次。SpringSpring Bean 的作用域有哪些？它的注册方式有几种？Spring 容器中管理一个或多个 Bean，这些 Bean 的定义表示为 BeanDefinition 对象，具体包含以下重要信息：Bean 的实际实现类；Bean 的引用或者依赖项；Bean 的作用范围；singleton：单例（默认）；prototype：原型，每次调用bean都会创建新实例；request：每次http请求都会创建新的bean；session：同一个http session共享一个bean_spring和springboot的常见面试题
随便推点
【连载】【FPGA黑金开发板】Verilog HDL那些事儿--低级建模的资源（六）-程序员宅基地
文章浏览阅读161次。声明：本文为原创作品，版权归akuei2及黑金动力社区共同所有，如需转载，请注明出处http://www.cnblogs.com/kingst/ 2.5 低级建模的资源 低级建模有讲求资源的分配，目的是使用“图形”来提高建模的解读性。 图上是低级建模最基本的建模框图，估计大家在实验一和实验二已经眼熟过。功能模块（低级功能模块）是一个水平的长方形，而控制模块（低级控制模块）是矩形。组..._cyclone ep2c8q208c黑金开发板
R语言实用案例分析-1_r语言案例分析-程序员宅基地
文章浏览阅读2.2w次，点赞10次，收藏63次。在日常生活和实际应用当中，我们经常会用到统计方面的知识，比如求最大值，求平均值等等。R语言是一门统计学语言，他可以方便的完成统计相关的计算，下面我们就来看一个相关案例。1. 背景最近西安交大大数据专业二班，开设了Java和大数据技术课程，班级人数共100人。2. 需求通过R语言完成该100位同学学号的生成，同时使用R语言模拟生成Java和大数据技术成绩，成绩满分为100，需要满足正_r语言案例分析
Java知识体系总结（2024版），这一次带你搞懂Spring代理创建过程-程序员宅基地
文章浏览阅读639次，点赞11次，收藏26次。虽然我个人也经常自嘲，十年之后要去成为外卖专员，但实际上依靠自身的努力，是能够减少三十五岁之后的焦虑的，毕竟好的架构师并不多。架构师，是我们大部分技术人的职业目标，一名好的架构师来源于机遇(公司)、个人努力(吃得苦、肯钻研)、天分(真的热爱)的三者协作的结果，实践+机遇+努力才能助你成为优秀的架构师。如果你也想成为一名好的架构师，那或许这份Java成长笔记你需要阅读阅读，希望能够对你的职业发展有所帮助。一个人可以走的很快，但一群人才能走的更远。
车辆动力学及在Unity、UE4中的实现_unity 车辆动力学模型-程序员宅基地
文章浏览阅读3.9k次，点赞9次，收藏53次。受力分析直线行驶时的车轮受力如下：水平方向上，所受合力为：F=Ft+Fw+FfF=F_t+F_w+F_fF=Ft+Fw+Ff其中，FtF_tFt为牵引力，FwF_wFw为空气阻力，FfF_fFf为滚动阻力，下面我们将逐个介绍。驱动力先来说扭矩，扭矩是使物体发生旋转的一个特殊力矩，等于力和力臂的乘积，单位为N∙mN∙mN∙m：设驱动轴的扭矩为TtT_tTt，车轮半径为rrr，那么牵引力：Ft=Tt⁄rF_t=T_t⁄rFt=Tt⁄r如何求得驱动轴扭矩TtT_tTt呢？_unity 车辆动力学模型
在vue中使用web3.js开发以太坊dapp_如何使用web3和vue.js创建你的第一个以太坊dapp-程序员宅基地
文章浏览阅读1.8w次，点赞2次，收藏65次。前端如何使用以太坊智能合约方法这里讲的是前端与MetaMask之间的交互文中涉及到的官方文档web3.js 1.0中文手册MetaMask官方文档web3.js文件链接：https://pan.baidu.com/s/1_mPT-ZcQ9GU_U1CVhBKpLA提取码：cbey//在vue中安装web3npm install web3 --save//在main.js引入import Web3 from 'web3'Vue.prototype.Web3 = Web3一、唤起Me_如何使用web3和vue.js创建你的第一个以太坊dapp
Python：太阳花的绘制_绘制一个直径随机的太阳花-程序员宅基地
文章浏览阅读701次。绘制一个太阳花的图形。from turtle import *color("red",'yellow')begin_fill()while True: forward(200) left(170) if abs(pos())<1: breakend_fill()done()_绘制一个直径随机的太阳花