[发明专利]基于秘密共享机制的分布式支持向量机训练方法及系统

说明书

本发明涉及支持向量机技术领域，特别是指一种基于秘密共享机制的分布式支持向量机训练方法和系统，所述方法包括：S1、将支持向量机SVM的优化问题使用交替方向乘子法ADMM算法分解成N个子优化问题；S2、将所述N个子优化问题分别由N个参与方进行本地求解，所述N个参与方各自拥有数据横向分布的数据集，这些数据集拥有相同的特征；S3、所述N个参与方使用ADMM算法交互参数，训练输出全局分类器，在所述N个参与方使用ADMM算法交互参数时，采用基于秘密共享机制的FSVM‑C隐私保护方案保护所述参数。采用本发明，可以实现完全分布式场景的协作训练和隐私保护的目标。

技术领域

本发明涉及支持向量机技术领域，特别是指一种基于秘密共享机制的分布式支持向量机训练方法和系统。

背景技术

支持向量机（SVM）是一类被广泛应用的监督学习（supervised learning）方法，主要用来构建数据二元分类的广义线性分类器，目前已经在文本分类、手写字符识别和生物信息学得到普及。在现实场景中，存在着训练样本集庞大的问题，单个机器的硬件无法支撑对所有数据直接进行运算的要求，很难保证算法的分类结果的准确性，另外如何确保支持向量机实现过程中的隐私安全也是亟待解决的问题。

发明内容

本发明实施例提供了一种基于秘密共享机制的分布式支持向量机训练方法及系统。所述技术方案如下：

一方面，提供了一种基于秘密共享机制的分布式支持向量机训练方法，包括：

S1、将支持向量机SVM的优化问题使用交替方向乘子法ADMM算法分解成N个子优化问题；

S2、将所述N个子优化问题分别由N个参与方进行本地求解，所述N 个参与方各自拥有数据横向分布的数据集，这些数据集拥有相同的特征；

S3、所述N个参与方使用ADMM算法交互参数，训练输出全局分类器，在所述N个参与方使用ADMM算法交互参数时，采用基于秘密共享机制的FSVM-C隐私保护方案保护所述参数。

可选地，在SVM分类问题中给定了输入的样本和标签的特征空间求解的超平面表示为，w是超平面的法向量，b 是截距，SVM的模型为：

（1）

其中 N 是样本数量，x_i表示第 i 个样本，y_i 表示第 i 个样本所对应的标签，ξ_i是松弛变量，每一个样本对应一个松弛变量，但是没有离群的点的松弛变量都为0，表示样本不满足约束的程度，引入容错性， C 为惩罚因子，w和b通过训练的方法学习输出；

求解模型的拉格朗日函数 L 如式（2）所示：

（2）

其中α和µ都为拉格朗日乘子，α_i ≥ 0， µ_i ≥ 0；

通过式（2）将支持向量机的问题转换为求解L的极小极大问题，目标是先通过求解使得L 函数最大的α,再求解使得L最小的w , b 和ξ的值，，在这里应用拉格朗日对偶性，通过求解对偶问题来求解原始问题的最优解，可以降低求解难度，原始问题的对偶问题是极大极小问题，先求解使 L 函数最小的 w, b 和ξ，再对L函数求α 的极大，对偶问题如式（3）所示：

（3）

其中α = (α₁, α₂, . . . , α_N ) 为拉格朗日乘子向量；

在模型训练阶段，使用最速下降法结合外点惩罚法求解优化问题，步骤如下：

（1）外循环