[发明专利]一种联邦学习系统

说明书

本发明实施例公开了一种联邦学习系统，包括：协作端和至少两个参与端，参与端包括一个标签持有端和至少一个特征持有端，协作端和各参与端之间通信连接，联邦学习系统的训练包括：确定一个参与端作为当前模型更新端；当前模型更新端获取模型更新参数，根据模型更新参数确定加密梯度值，并将加密梯度值发送至协作端，其中，模型更新参数是标签持有端根据上一当前模型更新端的本地模型参数确定的；协作端根据加密梯度值确定模型更新方向，并将模型更新方向发送至当前模型更新端；当前模型更新端根据模型更新方向对本地模型参数进行更新。通过对参与端本地模型的逐个更新，避免了各参与端同时向协作端进行大量的数据传输，提高了联邦学习效率。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种联邦学习系统。

背景技术

联邦学习是指一种机器学习框架，能有效帮助多个参与端(可以代表个人或机构)在满足数据隐私保护的要求下，联合训练模型。根据联邦学习的各个参与端持有数据的样本与特征的相互关系的不同，可以将其划分为横向联邦学习、纵向联邦学习以及联邦迁移学习等。在某些场景中纵向联邦学习得到了更广泛的应用。纵向联邦学习建模需要先对样本进行加密对齐，然后进行加密模型训练。在建模过程中，各参与端均将信息发送至第三方协作端，即各参与端无法获知对方的数据信息和梯度信息，基本保证了各参与端的数据安全。在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：现有技术中建模过程中每次迭代过程需要传输的数据量较大，联邦学习效率低。

发明内容

本发明实施例提供了一种联邦学习系统，以实现减少建模过程中迭代时数据的传输量，提高联邦学习的效率。

本发明实施例提供了一种联邦学习系统，包括：协作端和至少两个参与端，参与端包括一个标签持有端和至少一个特征持有端，协作端和各参与端之间通信连接，联邦学习系统的训练包括：

确定一个参与端作为当前模型更新端；

当前模型更新端获取模型更新参数，根据模型更新参数确定加密梯度值，并将加密梯度值发送至协作端，其中，模型更新参数是标签持有端根据上一当前模型更新端的本地模型参数确定的；

协作端根据加密梯度值确定模型更新方向，并将模型更新方向发送至当前模型更新端；

当前模型更新端根据模型更新方向对本地模型参数进行更新。

可选的，在上述方案的基础上，当前模型更新端为标签持有端，当前模型更新端获取模型更新参数，根据模型更新参数确定加密梯度值，包括：

当前模型更新端根据本地数据以及模型更新参数确定加密梯度值。

可选的，在上述方案的基础上，当前模型更新端为特征持有端，当前模型更新端获取模型更新参数，根据模型更新参数确定加密梯度值，并将加密梯度值发送至协作端，包括：

当前模型更新端从标签持有端获取模型更新参数，根据本地数据以及模型更新参数确定加密梯度值。

可选的，在上述方案的基础上，协作端根据加密梯度值确定模型更新方向，包括：

协作端对加密梯度值进行解密，得到原始梯度值，根据原始梯度值和预设步长确定模型更新方向。

可选的，在上述方案的基础上，当前模型更新端根据模型更新方向对本地模型参数进行更新，包括；

当前模型更新端将当前本地模型参数和模型更新方向的差值作为更新后的本地模型参数。

可选的，在上述方案的基础上，还包括：

当前模型更新端根据更新后的本地模型参数确定中间值，以使标签持有端根据中间值对模型更新参数进行更新。