[发明专利]模型训练及任务处理方法、装置、系统、设备及存储介质

说明书

本发明实施例公开一种模型训练及任务处理方法、装置、系统、设备和存储介质，模型训练方法应用于分布式集群中的本地设备，分布式集群中还包括其他设备，模型训练方法包括：获取其他设备上一轮训练得到的目标任务处理模型；根据其他设备上一轮训练得到的目标任务处理模型和本地设备上一轮训练得到的目标任务处理模型确定本地设备本轮训练的初始任务处理模型；确定初始任务处理模型的各个模型参数处的当前梯度，并确定本地设备本轮训练的掩码向量；基于掩码向量从各个模型参数中确定出本地设备本轮训练需要更新的模型参数，得到目标参数；根据初始任务处理模型的目标参数处的当前梯度更新目标参数，得到本地设备本轮训练的目标任务处理模型。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种模型训练及任务处理方法、装置、系统、设备和存储介质。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。根据参与方之间的连接，联邦学习可以分为中心化和去中心化两种形式。传统的联邦学习通常采用参数服务器的中心化形式，即存在一个中心服务器，本地设备使用自己所拥有的数据进行本地训练，再由中心服务器对模型进行聚合。去中心化形式是指不存在中心服务器，设备与设备之间进行通信和训练。联邦学习允许在通信过程中，本地设备无需将自身数据传到中心服务器或其他节点，而只需要传递训练好的模型，从此来降低数据泄露的风险。

传统的联邦学习，无论是中心化形式或是去中心化形式，仅仅训练一个全局模型作为部署。在高度数据异构性的情况下，一个全局模型往往不能适用于不同的数据分布，导致本地设备部署的模型对自身数据的推理准确性不高。为了解决联邦学习的这种局限性，个性化联邦学习允许本地设备拥有不同的个性化模型，而不是共享相同的全局模型。

一种个性化联邦学习的方法是对模型做个性化的分层，将全局模型层划分为共享层和个性化层，对于共享层，与其他设备交换进行训练，对于个性化层，模型仅在本地进行训练，不与其他设备交换。在实现本发明的过程中，发明人发现，这种基于模型分层做个性化联邦学习的方法，对于不同的模型结构鲁棒性较差，且由于需要针对具体模型设计具体的个性化层和共享层，推广性差。

发明内容

本发明实施例提供一种模型训练及任务处理方法、装置、系统、设备和存储介质，能够降低训练的计算复杂度，对不同的模型结构鲁棒性好，训练方法推广性好。

第一方面，本发明实施例提供一种模型训练方法，所述模型训练方法应用于分布式集群中的本地设备，所述分布式集群中还包括其他设备，所述模型训练方法包括：

获取所述其他设备上一轮训练得到的目标任务处理模型；

根据所述其他设备上一轮训练得到的目标任务处理模型和所述本地设备上一轮训练得到的目标任务处理模型确定所述本地设备本轮训练的初始任务处理模型；

确定所述初始任务处理模型的各个模型参数处的当前梯度，并确定所述本地设备本轮训练的掩码向量；

基于所述掩码向量从所述各个模型参数中确定出所述本地设备本轮训练需要更新的模型参数，得到目标参数；

根据所述初始任务处理模型的所述目标参数处的当前梯度更新所述目标参数，得到所述本地设备本轮训练的目标任务处理模型。

第二方面，本发明实施例提供一种任务处理方法，包括：

获取目标任务的当前特征信息；

将所述当前特征信息输入如本发明实施例所述的模型训练方法训练得到的本地目标模型，以利用所述本地目标模型基于所述当前特征信息处理所述目标任务，从而得到所述目标任务的处理结果。