[发明专利]一种多模型联邦学习方法、系统及存储介质

说明书

本申请提供一种多模型联邦学习方法、系统及存储介质，该方法包括：服务器获取待训练的模型集合；服务器采用多模型优化分配方法，生成优化分配矩阵，以将待训练模型按照优化分配矩阵分配给不同客户端；以使各个客户端按照服务器生成的优化分配矩阵的指示下载各自对应的待训练模型，完成本轮模型训练，并将训练后的模型参数上传至服务器；服务器在预设时间内接收客户端上传的模型参数，并聚合模型参数；服务器根据聚合的模型参数，确定各个待训练模型的精度和模型训练的总轮数，对达到精度要求或训练轮数超过轮数阈值的待训练模型，结束训练，其他的待训练模型进入下一轮训练。该方案在多模型训练时有显著的训练效率提升。

技术领域

本发明属于计算机技术领域，特别涉及一种多模型联邦学习方法、系统及存储介质。

背景技术

近年来，联邦学习作为一种分布式机器学习范式引起了人们的极大关注，在中心服务器(简称服务器)的管理下，它允许分布的客户端设备(简称客户端)加入AI(Artificial Intelligence，人工智能)模型训练，而不需要它们共享各自的私有数据，从而在保护用户隐私的同时，打破数据孤岛，提高AI模型的训练效率。

按照基本的联邦学习系统框架，服务器通过网络与参与联邦学习训练的不同客户端进行通信，将要训练的模型分发给各个客户端通过迭代的方式来训练，每次迭代客户端完成一次模型训练并将训练后的模型参数上传给服务器，服务器聚合收到的模型参数，并(如果需要)开始一个模型的下一轮迭代训练，直到模型达到一定的推理精度或迭代次数达到一定阈值。

在上述框架的基础上，现有方案为每轮训练设定一个固定的上限时间T，同时设计了客户端选择方法。在每一轮训练中，现有方案首先从所有可用客户端中随机选择一定比例的客户端，然后从随机选择的客户端中选择尽可能多的可以使实际每轮联邦训练时间小于等于上限时间T的客户端。该方案是针对单一模型训练而设计的，不能充分利用客户端的资源。

在上述框架的基础上，现有的联邦学习系统都集中于单模型训练，即系统同时只负责训练一个模型。在这样的系统中，服务器负责管理单个模型的联邦训练，训练过程以迭代的方式进行；在每轮迭代中，由服务器选择一定数量的客户端参与单个模型的训练，每个客户端训练该单个模型一次；在每轮迭代中，为了完成一轮迭代训练，服务器需要等候训练过程最慢的客户端完成训练。因此，现有的单模型联邦学习系统会浪费大量能力强的客户端资源，这些客户端的能力因为每轮只能训练一个模型而没有被充分利用。

发明内容

本说明书实施例的目的是提供一种多模型联邦学习方法、系统及存储介质。

为解决上述技术问题，本申请实施例通过以下方式实现：

第一方面，本申请提供一种多模型联邦学习方法，该方法包括：

服务器获取待训练的模型集合；待训练的模型集合中包括若干待训练模型；

服务器采用多模型优化分配方法，生成优化分配矩阵，以将待训练模型按照优化分配矩阵分配给不同客户端；以使各个客户端按照服务器生成的优化分配矩阵的指示下载各自对应的待训练模型，完成本轮模型训练，并将训练后的模型参数上传至服务器；其中，按照优化分配矩阵，每个客户端需在预设时间内完成各自的模型训练任务；

服务器在预设时间内接收客户端上传的模型参数，并聚合模型参数；

服务器根据聚合的模型参数，确定各个待训练模型的精度和模型训练的总轮数，对达到精度要求或训练轮数超过轮数阈值的待训练模型，结束训练，其他的待训练模型进入下一轮训练。

在其中一个实施例中，采用多模型优化分配方法，生成优化分配矩阵，包括：

将待训练模型随机分配给各个客户端，得到初始分配矩阵；

根据初始分配矩阵及模型精度函数表，计算对应的初始目标函数值；