支持向量机

作者:张浩然;韩正之;李昌刚 刊名:计算机科学 上传者:冯启艳

【摘要】 1 前言基于数据的机器学习是人工智能技术中的重要方面,从观测数据(样本)出发寻找数据中的模式和数据间的函数依赖规律,利用这些模式和函数依赖对未来数据或无法观测的数据进行分类、识别和预测。关于其实现方法大致可以分为三种,第一种是经典的(参数)统计估计方法,在这种方法中,参数的相关形式是已知的,训练样本用来估计参数的值。这种方法有很大的局限性,首先,它需要已知样本分布形式,其次传统统计学研究的是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设,但在实际问题中,样本数往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可

全文阅读

计算机科学 。。 冲 支持向量机 七 张浩然 韩正之 李昌刚上海交通大学 自动化系 上海 加 钾 , , , , , , , 前言 基于数据的机器学 习是人工智能技术中的重要方面 , 从观测数据 样本 出发寻找数据中的模式和数据间的函数依赖规律 , 利用这些模式和 函数依赖对未来数据或无法观测的数据进行分类 、 识别和预测 关 于其实现方法大致可 以分为三种 , 第一种是经典的 参数 统计估计方法 , 在这种方法中 , 参数的相关形式是 已知的 , 训练样本用来估计参数的值 这种方法有很大的局限性 , 首先 , 它需要 已知样本分布形式 , 其次传统统计学研究的是样本数 目趋于无穷大时的渐近理论 , 现有学习方法也多是基于此假设 , 但在实际问题中 , 样本数往往是有限的 , 因此一些理论上很优秀的学习方法实际中表现却可能不尽人意 第二种方法是人工神经网络 这种方法利用 已知样本建立非线性模型 , 克服了传统参数估计方法的困难 , 在过去的十几年中 , 神经网络受各个领域学者的广泛研究 , 技术上得到很大的发展 , 提 出 了许多神经 网络结构 , 其中常用 的有 如 多层 感知器 、 径 向基 函 数 网 络 、网络等等 , 也被成功地用来解决许多实际问题 , 例如模式识别 、 信号处理 、 智能控制等等 但是现在的神经网络 技术研究理论基石不足 , 有较大的经验成分 , 在技术上仍存在一些不易解决的问题 , 例如网络结构的设计间题 , 学习算法中局部极小问题 , 学 习的快速性问题等等 。 为了克服这些难题 , 提出了一种新的神经 网络一 支持向量机 , 它也是所说的第三种方法一 统计学习理论 , 是统计学习理论中最年轻的内容 , 也是最实用的部分 , 它 目前 己经成为神经网络和机器学 习的研究热点之一 , 并 已经得到很好的研究成果闺 。越来越多的学者认为 , 关于支持向量机的研究 , 将很快出现象在 年代后期人工神经 网络研究那样的飞速发展阶段 , 〕 。 支持向且机的基本思想 支持向量机的基本思想是这样的 首先把训练数据集非线 性 地 映射到 一 个 高维特征 空 间 这 个高 维特征 空 间是凡 空间 , 这个非线性映射的 目的是把在输入空 间 中的线性不可分数据集映射到高维特征空间后变为是线性可分的数据集 , 随后在特征空间建立一个具有最大隔离距离的最优分离超平面 , 这也相当于在输入空 间产生一个最优非线性决策边界 , 如图 所示 。 二 图 支持向量机的基本思想 平面是最优的分离超平面 , 最优性可 以从图 看出 , 几个分离超平面都可以把两个类分离开 , 但是只有一个是最优的 , 就是图中的实线所表示的 , 它与两个类之间最近向量的距离最大从几何上说支持向量就是决定最优分离超平面的样本向量的最小个数 , 如上图中的样本 、 、 , 它们就是所说的支持向量 , 所以这种学 习机 叫支持向量机 。 但实际上 最吸引人的地方不是支持向量思想 , 而是结构风险最小化思想 , 也就是上述的最优分离超平面不但能使学习机的经验风险很小 , 同时泛化误差也很小 , 即结构风险最小 。 图 最优分离超平面和非最优分离超平面这里应该注意的是 , 在特征空 间中支持向量机的分离超 支持向量机的关键技术 要实现上述的思想 , 根据实际间题构造一个支持向 机 , 必须解决两个关键的技术问题 如何找到一个非线性映射 , 把输入空间中的线性不可分数据集映射到高维特征空间中的线性可分数据集 在高维特征空间如何求出最优分离超平面 。 对于第一个问题 , 使用

参考文献

引证文献

问答

我要提问