[发明专利]一种基于联邦学习的模型训练方法、装置、设备及介质

权利要求书

1.一种基于联邦学习的模型训练方法，其特征在于，所述方法包括：

由服务器建立全局参数模型并将所述全局参数模型发送给参与模型训练的各个客户端；

由服务器将参与模型训练的客户端划分成多个组，其中每个组均包括多个客户端；

在每个客户端分别使用客户端本地数据训练各自的全局参数模型，并将训练时使用的数据个数发送给所述服务器；

由所述服务器基于各个客户端的所述数据个数计算每个客户端的加权系数并发送给对应的客户端；

在每个客户端使用预设加密算法对乘以加权系数后的梯度数据进行加密以得到加密数据；

在客户端上基于预设算法整合同一组内各个客户端的加密数据以生成与每个组对应的整合结果后发送给服务器；

由服务器对各个组的整合结果使用预设解密算法进行解密后再求和以得到梯度加权平均值，基于所述梯度加权平均值更新权重参数并将更新后的权重参数发送给各客户端；

返回再次执行所述由服务器将参与模型训练的客户端划分成多个组的步骤直至客户端的全局参数模型收敛。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

由服务器根据数据最大比特位精度和梯度数据绝对值的上界利用下述公式一至公式六生成Paillier算法的私钥和公钥，其中，所述私钥包括λ和s，所述公钥包括n,g,s；

M＝M₀2^ε 公式二；

λ＝lcm(p-1,q-1) 公式三；

s＝2^ε 公式四；

n＝pq 公式五；

gcd(L(g^λmodn²),n)＝1 公式六；

其中，p,q为两个大素数，ε为数据最大比特位精度为，M₀为梯度数据绝对值的上界为，lcm(a,b)表示a,b的最小公倍数，gcd(a,b)表示a,b的最大公约数，如果gcd(a,b)＝1称a与b互素；表示集合{0,1,…,n-1}；表示集合中与n互素元素的集合；amodc读作a模c，表示a除以c的余数,a＝bmodc表示a,b除以c的余数相同；如果ab＝1modc，表示b是a模c的乘法逆元，记做b＝a^-1modc，此时a也是b模c的乘法逆元；表示x向下取整，也就是小于等于x的最大整数；如果对于集合S_n＝{u|u＝1modn}，定义S_n上的函数L为

将所述公钥发送给参与模型训练的每个客户端用以对梯度数据进行加密，将所述私钥保存在服务器本地用对每组客户端返回的加密数据进行解密。

3.根据权利要求2所述的方法，其特征在于，

所述预设加密算法包括：

基于所述公钥中的n,g,s和下述公式七至公式八对明文数据进行加密；

c＝g^m′rⁿmodn² 公式八；

其中，m为任意的明文，c为加密密文，且r为随机数且rn，

所述预设解密算法包括：

基于所述私钥中的λ、s和下述公式九至公式十对密文进行解密以得到明文：

其中，c为加密密文。

4.根据权利要求1或3所述的方法，其特征在于，所述由服务器将参与模型训练的客户端划分成多个组，其中每个组均包括多个客户端的步骤包括：

获取每个参与模型训练的客户端的性质信息，其中所述性质信息包括网络带宽信息、客户端地域信息以及客户端之间的受信任程度信息；

基于所述性质信息将网络带宽相似，和/或地域相近，和/或相互信任的客户端划分到同一组以得到多个组。

5.根据权利要求1或3所述的方法，其特征字在于，所述由所述服务器基于各个客户端的所述数据个数计算每个客户端的加权系数并发送给对应的客户端的步骤包括：

计算所有客户端的数据个数之和；

将每个客户端的数据个数分别与所有客户端的数据个数之和的比值作为每个客户端加权系数。