[发明专利]一种模型参数更新方法及装置

说明书

本发明提供了一种模型参数更新方法及装置，其中，该方法包括：获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数，可以解决相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题，不同客户端针对其本地模型的不同训练次数确定不同的梯度权重，根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，从而使训练完备程度高的本地模型上传时具有较高的权重，训练完备程度低的本模型具有相对低的权重，可以提高模型参数更新的效率。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种模型参数更新方法及装置。

背景技术

目前联邦平均算法无法解决用户移动端训练次数不均衡的问题，在移动端场景下，主要涵盖手机、平板和汽车等移动设备，当用户在上传或下载模型之前，根据用户本地数据的更新策略触发本地训练，导致用户本地已进行共T次的n轮训练。目前现有算法未将训练次数T纳入考虑，进而导致用户模型训练的完备程度无法区分，使模型更新效率降低。

针对相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种模型参数更新方法及装置，以至少解决相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题。

根据本发明的一个实施例，提供了一种模型参数更新方法，应用于服务端，包括：

获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；

根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。

可选地，所述方法还包括：

通过以下方式根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数：

其中，θ^*为所述更新后的模型参数，θ为初始模型参数，为本地模型i的梯度，ω_i为所述本地模型i的梯度权重，ε为所述服务端总模型的学习率。

可选地，在根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数之后，所述方法还包括：

向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。

根据本发明的另一个实施例，还提供了一种模型参数更新方法，应用于客户端，包括：

根据训练次数确定本地模型的梯度与梯度权重；

将所述本地模型的梯度与梯度权重发送给服务端，以使所述服务端根据所述本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。

可选地，在确定本地模型的梯度与梯度权重之前，所述方法还包括：

从所述服务端下载模型；

根据本地数据对所述模型进行训练，得到所述本地模型，并记录所述本地模型的训练次数。

可选地，确定本地模型的梯度与梯度权重包括：

获取当前训练完成之后所述本地模型的目标模型参数；

根据所述目标模型参数与初始模型参数确定所述本地模型的梯度；

根据所述本地模型的训练次数确定所述梯度权重。

可选地，所述方法还包括：

通过以下方式根据所述模型参数与初始模型参数确定所述本地模型的梯度：