[发明专利]一种面向大规模数据的并行结构化支持向量机分类方法

权利要求书

1.一种面向大规模数据的并行结构化支持向量机分类方法，其特征在于，包括如下步骤：

步骤1，样本归一化：对训练样本和测试样本分别进行归一化到相同的范围内；

步骤2，求得大规模训练样本集结构化信息：由于协方差矩阵往往可以反映样本的分布信息，因此在Hadoop平台上分别求得正、负类样本的协方差矩阵作为样本的整体结构信息；

步骤3，利用大规模训练样本集训练分类模型；根据并行结构化支持向量机随机次梯度投影并行执行的方法，在Hadoop平台上训练得到并行结构化支持向量机模型；

步骤4，根据分类模型对测试样本进行分类；根据步骤3训练得到的并行结构化支持向量机模型，对测试样本进行分类。

2.根据权利要求1所述的一种面向大规模数据的并行结构化支持向量机分类方法，其特征在于，所述步骤2具体包括如下步骤：

在Hadoop平台下，大规模训练样本被划分为多个子集，分散地存放在多个数据节点上，求得大规模训练样本的协方差矩阵可以借助一个MapReduce任务完成；

为了方便描述，记给定的大规模训练样本集其中x_i∈Rⁿ，y_i∈{+1,-1}，将训练样本集S分成N个子集，记为i＝1,...,N，y_j∈{+1,-1}；表示S_i中的正、负类样本，记Σ为样本的整体协方差，μi+=Σxj+∈Sixj+,μi-=Σxj-∈Sixj-,i=1,...,N;]]>

Map阶段：依次扫描当前节点i上的样本，求得当前节点上样本分别的μi+=Σxj+∈Sixj+]]>和Ni-,Σi-=Σxj-∈Sixj-xj-T,μi-=Σxj-∈Sixj-;]]>

Reduce阶段：将在Map阶段求得的N节点的i＝1,...,N信息在Reduce中进行汇总；根据公式其中分别求得大规模训练样本的正、负类各自的协方差矩阵和将正负类样本的协方差矩阵求和得到大规模训练样本集整体的协方差矩阵，Σ＝Σ⁺+Σ^-。