[发明专利]一种面向大规模数据的并行结构化支持向量机分类方法

说明书

技术领域

本发明属于人工智能模式识别分类领域，特别是一种面向大规模数据的并行支持向量机分类方法。

背景技术

分类问题是机器学习的主要研究内容，支持向量机作为主流的分类方法之一，在软件模块缺陷检测、图像识别等领域取得了广泛的应用，倍受研究者的关注。为了获得更好的分类效果，研究者们也相继提出了最小二乘支持向量机、模糊支持向量机等。标准的支持向量机问题的实质是一个二次规划问题，在支持向量机的求解方面，研究者也做了大量的工作，较为常用的方法有牛顿法、分块方法、分解方法、梯度下降的方法等。然而，随着时代的发展，科技的进步，我们所面临的数据规模不断的增大，经典的串行支持向量机主要针对小规模数据，面对大规模数据存在效率低的不足。为此，设计适用于大规模样本的并行支持向量机分类方法成了关键任务。

目前，经典的并行支持向量机的研究主要集中在数据层面，即在原始数据集的多个子数据集上并行训练支持向量机，进而通过合并得到最终分类结果。相对于面向数据层面的并行支持向量机而言，在求解算法上进行并行支持向量机还不多见。

已有的并行支持向量机算法在模型中考虑类分布信息的研究工作还比较少。样本的结构信息往往对大间隔分类器的分类面的确定同样具有指导意义。目前，研究者也提出了很多考虑样本结构信息的大间隔分类器算法，如：最小最大概率机、最大最小间隔机、结构大间隔机、结构支持向量机等。

发明内容

本发明为了能够解决大规模数据的支持向量机分类问题，并且提高分类精度，提出了一种面向大规模数据的并行支持向量机分类方法，在有效处理大规模数据分类问题的同时还提高了分类效果。

本发明采用的技术方案如下：

一种面向大规模数据的并行结构化支持向量机分类方法，包括如下步骤：

步骤1，样本归一化：对训练样本和测试样本分别进行归一化到相同的范围内；

步骤2，求得大规模训练样本集结构化信息：由于协方差矩阵往往可以反映样本的分布信息，因此在Hadoop平台上分别求得正、负类样本的协方差矩阵作为样本的整体结构信息；

步骤3，利用大规模训练样本集训练分类模型；根据并行结构化支持向量机随机次梯度投影并行执行的方法，在Hadoop平台上训练得到并行结构化支持向量机模型；

步骤4，根据分类模型对测试样本进行分类；根据步骤3训练得到的并行结构化支持向量机模型，对测试样本进行分类。

所述步骤2具体包括如下步骤：在Hadoop平台下，大规模训练样本被划分为多个子集，分散地存放在多个数据节点上，求得大规模训练样本的协方差矩阵可以借助一个MapReduce(映射归约)任务完成；