[发明专利]基于半监督的横向联邦学习优化方法、设备及存储介质

说明书

本发明公开了一种基于半监督的横向联邦学习优化方法、设备及存储介质，所述方法包括：接收服务端下发的本次全局模型更新的全局模型参数；基于全局模型参数更新第一模型后，基于本地的无标签样本和无标签样本的增广样本对第一模型进行自监督训练，得到本地模型参数；将本地模型参数发送给服务端，以供服务端根据有标签样本和从各客户端接收到的本地模型参数对第二模型进行有监督训练，得到新一次全局模型更新的全局模型参数并下发给各客户端；循环直到满足预设条件时停止训练得到目标模型。本发明实现只在服务器端有少量有标签样本，在客户端完全没有标签数据时，也能够进行横向联邦学习，从而适应缺乏标签数据的现实场景，节省人力成本。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于半监督的横向联邦学习优化方法、设备及存储介质。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。横向联邦学习，也称为特征对齐的联邦学习(feature-alignedfederated learning)，是在各个客户端的数据特征重叠较多(即数据特征是对齐的)，而用户重叠较少的情况下，取出客户端数据特征相同而用户不完全相同的那部分数据进行联合机器学习。

目前的横向联邦学习通常假设客户端有大量的有标签数据，才能够保证使用横向联邦学习的训练模式进行模型训练，但是实际情况通常是客户端有少量甚至是没有标签数据，事实上也很难要求客户端对数据进行标注，因而很难使用现有的横向联邦学习训练模式获得优质的模型。

发明内容

本发明的主要目的在于提供一种基于半监督的横向联邦学习优化方法、设备及存储介质，旨在解决现有客户端中无标签数据的情况下，无法使用横向联邦学习来训练模型的问题。

为实现上述目的，本发明提供一种基于半监督的横向联邦学习优化方法，应用于参与横向联邦学习的客户端，所述客户端拥有第一模型，参与横向联邦学习的服务端拥有与所述第一模型结构相同的第二模型，所述方法包括：

接收服务端下发的本次全局模型更新的全局模型参数；

基于所述全局模型参数更新所述第一模型后，基于本地的无标签样本和所述无标签样本的增广样本对所述第一模型进行自监督训练，得到本地模型参数；

将所述本地模型参数发送给所述服务端，以供所述服务端根据有标签样本和从各所述客户端接收到的所述本地模型参数对所述第二模型进行有监督训练，得到新一次全局模型更新的全局模型参数并下发给各所述客户端；

循环直到满足预设条件时停止训练得到目标模型。

可选地，所述基于本地的无标签样本和所述无标签样本的增广样本对所述第一模型进行自监督训练，得到本地模型参数的步骤包括：

对本地的无标签样本进行数据增广获得增广样本；

将所述无标签样本输入所述第一模型得到第一预测标签，将所述增广样本输入所述第二模型得到第二预测标签；

基于所述第一预测标签和所述第二预测标签构建所述第一模型的自监督损失函数；

基于所述自监督损失函数计算得到本地模型参数。

可选地，当一个所述无标签样本对应多个所述增广样本时，所述基于所述第一预测标签和所述第二预测标签构建所述第一模型的自监督损失函数的步骤包括：

基于多个所述增广样本对应的多个所述第二预测标签获取一个目标预测标签；

基于所述目标预测标签和所述第二预测标签构建所述第一模型的自监督损失函数。

可选地，所述基于多个所述增广样本对应的多个所述第二预测标签获取一个目标预测标签的步骤包括：