[发明专利]一种模型参数更新方法及装置

权利要求书

1.一种模型参数更新方法，应用于服务端，其特征在于，包括：

获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；

根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过以下方式根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数：其中，θ^*为所述更新后的模型参数，θ为初始模型参数，为本地模型i的梯度，ω_i为所述本地模型i的梯度权重，ε为所述服务端总模型的学习率。

3.根据权利要求1或2所述的方法，其特征在于，在根据所述多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数之后，所述方法还包括：

向所述多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。

4.一种模型参数更新方法，应用于客户端，其特征在于，包括：

根据训练次数确定本地模型的梯度与梯度权重；

将所述本地模型的梯度与梯度权重发送给服务端，以使所述服务端根据所述本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。

5.根据权利要求4所述的方法，其特征在于，在确定本地模型的梯度与梯度权重之前，所述方法还包括：

从所述服务端下载模型；

根据本地数据对所述模型进行训练，得到所述本地模型，并记录所述本地模型的训练次数。

6.根据权利要求5所述的方法，其特征在于，确定本地模型的梯度与梯度权重包括：

获取当前训练完成之后所述本地模型的目标模型参数；

根据所述目标模型参数与初始模型参数确定所述本地模型的梯度；

根据所述本地模型的训练次数确定所述梯度权重。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

通过以下方式根据所述模型参数与初始模型参数确定所述本地模型的梯度：

▽θ_i＝(θ₀-θ_t)/ε_i，其中，▽θ_i为本地模型i的梯度，θ₀为所述初始模型参数，θ_t为所述目标模型参数，ε_i为所述本地模型i的学习率；

通过以下方式根据所述本地模型的训练次数确定所述梯度权重：

ω_i＝(2+2α)sigmoid(T_i-1)+2α-1，α为常数，T_i为所述训练次数。

8.根据权利要求4至7中任一项所述的方法，其特征在于，在将所述本地模型的梯度与梯度权重发送给服务端之后，所述方法还包括：

向多个客户端发送已更新模型参数的通知消息，其中，所述通知消息用于指示所述多个客户端将所述本地模型的训练次数清零。

9.一种模型参数更新装置，应用于服务端，其特征在于，包括：

获取模块，用于获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；

更新模块，用于根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。

10.一种模型参数更新装置，应用于客户端，其特征在于，包括：

确定模块，用于根据训练次数确定本地模型的梯度与梯度权重；

发送模块，用于将所述本地模型的梯度与梯度权重发送给服务端，以使所述服务端根据所述本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数。