[发明专利]模型训练方法、装置、电子设备、存储介质及程序产品

说明书

本公开提供了一种模型训练方法、装置、电子设备、存储介质及程序产品，涉及人工智能技术领域，尤其涉及分布式计算技术领域。该方法包括：针对多个全局模型中目标全局模型的一轮训练，根据训练各个全局模型所需要的时间，从多个终端设备中选择至少两个目标终端设备；将目标全局模型的全局模型参数发送给至少两个目标终端设备；接收至少两个目标终端设备发送的本地模型参数，并根据至少两个目标终端设备发送的本地模型参数，更新目标全局模型参数，本地模型参数为至少两个目标终端设备各自根据本地训练样本对目标全局模型进行训练得到的。提高了多个全局模型的训练效率。

技术领域

本公开涉及人工智能技术领域中的分布式计算技术，尤其涉及一种模型训练方法、装置、电子设备、存储介质及程序产品。

背景技术

联邦学习是一种新的分布式学习机制，利用分布式的数据和计算资源进行机器学习模型的协作训练。联邦学习系统通常包括一个服务器和多个终端设备，联邦学习是由服务器将待训练的全局模型下发给各终端设备，由各终端设备利用本地的私有数据各自训练更新模型参数，并将更新的模型参数上传给服务器，最后由服务器将各终端设备更新的模型参数聚合得到新的全局模型，重复执行进行多轮上述训练，直至全局模型达到收敛。

在多任务连邦学习中，联邦学习系统中存在多个待训练的全局模型，如果同一时间各终端设备只能训练一个全局模型，这无疑会增加其他全局模型的等待时间且训练效率极低，为此可以选择令多个全局模型在多个终端设备之间并行训练。那么，如何为每个全局模型分配终端设备以提高多个全局模型的训练效率是一个亟待解决的问题。

发明内容

本公开提供了一种提高了多全局模型的训练效率的模型训练方法、装置、电子设备、存储介质及程序产品。

根据本公开的一方面，提供了一种模型训练方法，所述方法包括：

针对多个全局模型中目标全局模型的一轮训练，根据训练各个全局模型所需要的时间，从多个终端设备中选择至少两个目标终端设备；

将所述目标全局模型的全局模型参数发送给所述至少两个目标终端设备；

接收所述至少两个目标终端设备发送的本地模型参数，并根据所述至少两个目标终端设备发送的本地模型参数，更新所述目标全局模型参数，所述本地模型参数为所述至少两个目标终端设备各自根据本地训练样本对所述目标全局模型进行训练得到的。

根据本公开的另一方面，提供了一种模型训练装置，所述装置包括：

选择模块，用于针对多个全局模型中目标全局模型的一轮训练，根据训练各个全局模型所需要的时间，从所述多个终端设备中选择至少两个目标终端设备；

发送模块，用于将所述目标全局模型的全局模型参数发送给所述至少两个目标终端设备；

接收模块，用于接收所述至少两个目标终端设备发送的本地模型参数，所述本地模型参数为所述至少两个目标终端设备各自根据本地训练样本对所述目标全局模型进行训练得到的；

更新模块，用于根据所述至少两个目标终端设备发送的本地模型参数，更新所述目标全局模型参数。

根据本公开的再一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。