[发明专利]一种面向数据不均衡的联邦聚合方法及装置

权利要求书

1.一种面向数据不均衡的联邦聚合方法，其特征在于，具有如下步骤：

S1、构建数据质量向量，由梯度因子、分布因子、数量因子组成；

S2、以数据质量向量作为聚类特征，对参与方进行聚类分析，实现参与方分组；

S3、基于分组聚合梯度的方式，完成全局梯度计算。

2.根据权利要求1所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S1中，进一步包括：

S101、参与方从中央服务器获取ｔ－1轮训练的模型全局梯度并更新本地模型参数

S102、参与方基于本地数据进行第t轮模型训练，得到本地模型各个神经元的梯度同时取上一轮全局梯度值以神经网络中各个网络层为基本单元划分梯度，计算和梯度偏移；

S103、参与方统计各自数据集的数据量，并进行归一化；

S104、各个参与方计算自己数据集与均匀分布的KL散度,作为均衡参与方参与训练时数据集的分布差异，记为

S105、构建数据质量向量，记为

3.根据权利要求2所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S102中，计算和梯度偏移，作为数据质量向量的一个因子，记为衡量当前数据集对于模型的优化方向影响，其中梯度偏移的度量准则选择向量内积，各个值位于[0,1]之间；

选用3层全连接神经网络，按网络层为基本单元划分后的梯度如下所示共包含3个向量，每个向量表示了对应网络层的梯度信息：

表示第一层全连接各个神经元的梯度，是一个向量；

表示第一层全连接本地训练后各个神经元的梯度，是一个向量；

其中符号表示内积运算，偏移结果的结果示例为：[0.2,0.5,0.8],网络的每一层结构，对应一个值。

4.根据权利要求3所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S103中，参与方统计各自数据集的数据量，并进行归一化，记为作为数据质量向量的第二因子，其中其计算公式如下：

其中n表示参与方个数，i表示第i个参与方，D_i表示参与方的数据拥有量。

5.根据权利要求4所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S2中，进一步包括：

S201、参与方上传数据质量向量，至中央服务器；

S202、为质量向量中三个特征分配不同的权重αβγ，其中α＞β＞γ且α+β+γ＝1；

S203、在中央服务器，基于聚类算法，完成聚类过程，得到类簇cluster及类簇内的各个参与方，聚类过程中的距离度量使用加权欧式距离，权重由步骤2设定的αβγ。

6.根据权利要求5所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S203中，聚类完成后得到各个类簇及类簇下的参与方，以ABCDE共五个参与方的聚类；

通过聚类，参与分依据数据质量，被划分为不同类簇，同一类簇中的参与方在数据分布以及对梯度的贡献都是近似的，数据质量一致。

7.根据权利要求6所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S3中，进一步包括：

S301、各个参与方上传本次训练梯度至中央服务器；

S302、在中央服务器，遍历步骤S2中的聚类产生的类簇，聚合同一类簇中的参与方梯度，同一类簇中各个参与方的数据相近，采用均值计算；

S303、类簇间梯度聚合，类簇之间反映了不同质量数据的差异，使用联邦平均算法聚合，得到本轮的全局梯度，记为

S304、中央服务器下发全局梯度至各个参与方，各个参与方更新权重，完成本轮训练。

8.根据权利要求7所述的一种面向数据不均衡的联邦聚合方法，其特征在于，在步骤S302中，聚合完成后，各个类簇得到自己的聚合梯度，类簇内的梯度聚合方式如下所示：

式中表示第c个类簇的聚合梯度值，n表示该类簇共有个参与方，表示参与方在本次训练中计算得到的梯度。