[发明专利]基于辅助优化与拉格朗日优化的支持向量机学习方法

说明书

本发明提供一种基于辅助优化与拉格朗日优化的支持向量机学习方法，包括：通过迭代的方式求解支持向量机对偶问题，每次所述迭代的过程如下：构建所述支持向量机对偶问题的辅助优化问题；将所述辅助优化问题转化为拉格朗日辅助优化问题；求解所述拉格朗日辅助优化问题的最优解。本发明所述的方法容易实现，并且收敛速度更快。

技术领域

本专利涉及一种基于辅助优化与拉格朗日优化的支持向量机学习方法，属于 模式识别与机器学习领域。

背景技术

支持向量机(Support Vector Machine，SVM)是Vapnik和Cortes于1995年 提出的一种基于统计学习理论的分类方法。对于一个线性可分的分类任务，支 持向量机选择具有最大分类间隔的超平面作为分类超平面，具有良好的泛化性 能。除了线性可分的分类任务外，支持向量机还可以通过核方法来处理线性不 可分的分类问题，是最常见的核学习(Kernel Learning)方法之一。支持向量机 适用于小样本，非线性和高维度的分类任务，已被广泛应用于人脸识别，文本 分类，语音识别等实际问题中，并取得了良好的应用效果。

对于一个2分类问题，已知其训练集T＝{(x₁，y₁)，(x₂，y₂)，...，(x_N，y_N)}，其中 x_i∈R^d为观测样本，y_i∈{-1，1}为样本x_i的标签，i＝1，2，...，N。支持向量机首先通 过映射函数φ将样本数据映射到高维的特征空间，然后在高维特征空间中寻找 分离超平面w^Tφ(x)+b＝0，使其与最相近的样本之间的间隔最大化。在数学上， 分离超平面参数w和b可通过如下最优化问题求解得到：

其中ξ_i，i＝1，2，...，N为松弛变量，C为折衷参数。上述问题被称为支持向量机 原问题。通过对偶优化理论，可以得到支持向量机原问题(1)的对偶优化问题， 其被表示如下：

支持向量机原问题(1)的最优解可以由对偶问题(2)的最优解计算得到：

其中K(x_i，x_j)＝φ(x_i)^Tφ(x_j)为核函数，(x_j，y_j)为某个满足0＜α_j＜C的训练样本。根据公式(3)，支持向量机分类函数可以被表述如下：

相比于支持向量机原问题(1)，对偶问题(2)在优化方面具有如下优势：1) 对偶问题(2)可以利用核技巧直接计算两个高维特征向量的内积而无需先进行 特征映射；2)对偶问题(2)的约束条件更为简单。因此，在实际应用中，人们往 往通过对偶问题(2)来学习支持向量机分类器。

目前，许多有效的优化算法被提出用于求解支持向量机对偶问题(2)，例如 序列最小优化算法(Sequential Minimal Optimization，SMO)和乘性间隔最大 化算法(Multiplicative Margin Maximization，M3)。然而，大部分已有的算 法难以同时兼顾算法的实现简便性和收敛快速性。

发明内容

为了解决现有技术的不足，本发明提供一种基于辅助优化与拉格朗日优化 的支持向量机学习方法。

本发明所采用的技术方案是：

基于辅助优化与拉格朗日优化的支持向量机学习方法，通过迭代的方式求 解所述支持向量机对偶问题，每次所述迭代的过程如下：