[发明专利]一种基于信息熵的模糊半监督支持向量机的分类方法

说明书

本发明公开了一种基于信息熵的模糊半监督支持向量机的分类方法，步骤为，1）数据预处理；2）计算有标签数据模糊隶属度；3）建立基于熵的模糊半监督支持向量机模型及其对偶模型；4）将基于信息熵的模糊半监督支持向量机对偶模型改写为标准的二次规划问题形式，通过序列极小优化算法优化该标准二次规划问题，得到基于信息熵的模糊半监督支持向量机对偶模型的拉格朗日乘子，从而求得基于信息熵的模糊半监督支持向量机模型的优化参数，根据优化参数即可获得分类超平面；5）基于获得的分类超平面，对待处理数据做分类，即可获得分类结果。本发明具有收敛速度非常快，计算轻松容易，最终分类准确率高、效果更好等特点。

技术领域

本发明涉及半监督支持向量机、机器学习，具体涉及一种基于信息熵的模糊半监督支持向量机的机器学习方法，可以用于机器学习领域的分类和回归，属于统计学习、机器学习技术领域。

背景技术

支持向量机在1998年由Vapnik提出以来，因为其具有统计学习和优化理论基础、具有稀疏解、非线性性和泛化能力强的特点，得到了迅速的发展。支持向量机在分类和回归方面表现出优越的性能，是实现模式识别、机器视觉、手写字符识别、网页分类、垃圾邮件分类、文本分类、信用风险评估等应用的有力工具。

在现实世界中，需要采用机器学习方法对一些训练集数据集进行分类，然后利用测试集做预测。假定给定特征空间上的训练数据集为

D＝{(x₁,y₁),(x₂,y₂),…,(x_l,y_l)}

其中x_i∈Rⁿ，y_i∈{+1,-1}，i＝1,2,…,l.x_i为第i个特征向量，也称为实例，y_i为x_i的类标记，当y_i＝+1时称x⁽ⁱ⁾为正类或者正例，当y_i＝-1时，称x_i为负类或者负例。(x_i,y_i)为称为样本点。

支持向量机是其中一种比较流行的分类方法，其主要思想是寻求一个分类超平面ω^Tx+b＝0(其中ω超平面的法向量，b为截距)，使得数据集的正负类样本点分别在法平面的两侧，而且在超平面两边具有最大分类间隔，如图1所示。

线性可分支持向量机模型如下：

s.t.y_i(wx_i+b)≥1，i＝1，2，…，l.

解这个优化问题是转化求解其对偶问题：

α_i≥0，i＝1，2，…，l.

如果两类数据不能完全被超平面分开，则支持向量机模型为：

s.t.y_i(ωx_i+b)+ξ_i≥1，

ξ_i≥0，i＝1，2，…，l

其中ξ_i为松弛变量，C＞0称为惩罚参数，其对偶问题形式为：

0≤α_i≤C，i＝1，2，…，l.

其中α_i≥0为拉格朗日乘子。