[发明专利]二阶段联邦学习方法、系统

说明书

本发明提供一种二阶段联邦学习方法、系统，按照预设的第一轮次数重复基于特征融合算法根据本地模型和新全局模型进行一阶段联邦学习，以更新本地模型的本地权重和新全局模型的参数，并将更新的新全局模型作为二阶段全局模型，再通过预设的测试数据对二阶段全局模型进行收敛测试以获取准确率，若准确率收敛，则将二阶段全局模型作为客户端的二阶段本地模型，并重复基于联邦平均算法进行二阶段联邦学习，以更新二阶段本地模型的本地权重，若重复次数达到预设的第二轮次数，则完成二阶段联邦学习，如此，改变原模型训练的损失函数，使得本地模型在更新时更接近于从服务器端收到的全局模型，从而减轻用户本地数据的过多影响，进而使模型更快地具有泛化能力，提高收敛速度。

技术领域

本发明涉及区块链技术领域，更为具体地，涉及一种二阶段联邦学习方法、系统。

背景技术

机器学习是一种自动分析并构建模型的数据分析方法。机器学习模型即通过数据去学习数据的特征，并对新的数据进行预测，完成分类或者回归的任务。

然而，机器学习模型由数据驱动的，它的准确率与训练数据的数量和质量密切相关，在足够的、高质量的数据的训练下，机器学习模型在实际应用中就会有较好的表现。因此，如何为机器学习模型提供大量高质量的数据就成为了提高机器学习模型表现的关键问题。

但是目前在大多数行业中，数据以孤岛的形式存在，一方所能拥有的数据是十分有限的，往往不足以让机器学习模型有一个好的表现，另外，人们对数据隐私和数据安全的重视程度日益加强，有关数据安全的法律也在不断完善，要把多方数据整合到一起几乎是不可能的。

在2016年，提出了联邦学习的框架，它可以安全的利用多方的数据进行机器学习模型的共同训练，作为在不损害用户隐私的情况下共享知识的一种有效的解决方案。而其中，联邦平均算法(FedAvg)就是一个比较经典的联邦学习算法，但是也有着一些比较明显的缺点，如高昂的服务器端与客户端的交流成本以及数据非独立同分布造成的性能下降。如何降低交流成本、提高模型表现是目前联邦学习研究中两个十分重要的问题。

因此，亟需一种提高模型表现的同时保护用户的数据隐私，提高模型收敛速度，降低交流成本，提取数据的深层特征，进一步提高模型准确率的二阶段联邦学习方法、系统。

发明内容

鉴于上述问题，本发明的目的是提供一种二阶段联邦学习方法，以解决传统联邦平均算法具有高昂的服务器端与客户端的交流成本，并且数据非独立同分布导致性能下降的问题。

本发明提供的一种二阶段联邦学习方法，其中，包括：

在客户端利用本地数据对获取的全局模型进行训练以获取本地模型；

获得预设数量的客户端所训练的本地模型的本地权重，并基于所述客户端的数据量对所述本地权重进行加权平均处理以获取新全局模型；

按照预设的第一轮次数重复基于特征融合算法根据所述本地模型和所述新全局模型进行一阶段联邦学习，以更新所述本地模型的本地权重和所述新全局模型的参数，并将更新的新全局模型作为二阶段全局模型；

通过预设的测试数据对所述二阶段全局模型进行收敛测试以获取准确率，若所述准确率收敛，则将所述二阶段全局模型作为所述客户端的二阶段本地模型，并重复基于联邦平均算法进行二阶段联邦学习，以更新所述二阶段本地模型的本地权重，若重复次数达到预设的第二轮次数，则完成二阶段联邦学习。

优选地，按照预设的第一轮次数重复基于特征融合算法根据所述本地模型和所述新全局模型进行一阶段联邦学习的过程，包括：

根据所述本地模型和所述新全局模型，基于特征融合算法进行一阶段联邦学习以获取中间本地模型；

将所述中间本地模型作为本地模型，再基于所述本地模型与所述新全局模型重复一阶段联邦学习，并在预设的轮次变量上加一，直至所述轮次变量与所述第一轮次数相等，则停止重复一阶段联邦学习。