[发明专利]一种模型参数训练方法、服务器、系统及存储介质

权利要求书

1.一种预测模型的参数训练方法，其特征在于，应用于分布式系统的工作服务器，包括：

获取当前批次的训练样本对应的当前嵌入参数；

从所述工作服务器中获取所述工作服务器当前存储的网络参数；

基于所述当前批次的训练样本，对所述当前嵌入参数以及所述工作服务器当前存储的网络参数进行迭代训练，以得到嵌入参数梯度以及网络参数梯度；

基于所述嵌入参数梯度，更新所述当前嵌入参数，并向参数服务器同步更新后的嵌入参数；

基于所述网络参数梯度，更新所述工作服务器当前存储的网络参数。

2.根据权利要求1所述的预测模型的参数训练方法，其特征在于，所述当前嵌入参数为预先存储在所述工作服务器中的，所述方法还包括：

在所述工作服务器当前存储的嵌入参数中包括所述当前嵌入参数的部分嵌入参数的情况下，从参数服务器中获取差异嵌入参数，并存储所述差异嵌入参数；所述差异嵌入参数包括所述当前嵌入参数除所述部分嵌入参数之外的嵌入参数；

或者，

在所述工作服务器当前存储的嵌入参数不包括所述当前嵌入参数的情况下，从所述参数服务器中获取所述当前嵌入参数，并存储所述当前嵌入参数。

3.根据权利要求1所述的预测模型的参数训练方法，其特征在于，在所述当前批次为首个批次的情况下，在所述从所述工作服务器中获取所述工作服务器当前存储的网络参数之前，所述方法还包括：

接收并存储来自所述参数服务器的所述预测模型的网络参数。

4.根据权利要求1所述的预测模型的参数训练方法，其特征在于，在所述当前批次为除首个批次以外的其他批次的情况下，在所述从所述工作服务器中获取所述工作服务器当前存储的网络参数之前，所述方法还包括：

对多个历史网络参数梯度进行合并处理，并存储合并处理得到的网络参数；所述多个历史网络参数梯度包括基于所述当前批次的上一批次的训练样本训练得到的网络参数梯度。

5.根据权利要求1所述的预测模型的参数训练方法，其特征在于，所述方法还包括：

在所述对所述当前嵌入参数以及所述工作服务器当前存储的网络参数进行迭代训练的过程中，获取下一批次的训练样本，并基于所述下一批次的训练样本，获取所述下一批次的训练样本对应的嵌入参数。

6.一种工作服务器，其特征在于，包括获取单元、训练单元、更新单元以及发送单元；

所述获取单元，用于获取当前批次的训练样本对应的当前嵌入参数；

所述获取单元，还用于从所述工作服务器中获取所述工作服务器当前存储的网络参数；

所述训练单元，用于基于所述当前批次的训练样本，对所述获取单元获取到的所述当前嵌入参数以及所述工作服务器当前存储的网络参数进行迭代训练，以得到嵌入参数梯度以及网络参数梯度；

所述更新单元，用于基于所述训练单元训练得到的所述嵌入参数梯度，更新所述当前嵌入参数；

所述发送单元，用于向参数服务器同步所述更新单元更新后的嵌入参数；

所述更新单元，还用于基于所述网络参数梯度，更新所述工作服务器当前存储的网络参数。

7.一种工作服务器，包括：处理器、用于存储所述处理器可执行的指令的存储器；其中，所述处理器被配置为执行指令，以实现所述权利要求1-5中任一项所述的预测模型的参数训练方法。

8.一种计算机可读存储介质，其特征在于，包括指令，当所述指令由处理器执行时，使得所述处理器执行如权利要求1-5中任一项所述的预测模型的参数训练方法。

9.一种分布式参数训练系统，其特征在于，包括多个参数服务器以及多个工作服务器；所述多个工作服务器中的任意一个工作服务器用于执行权利要求1-5中任一项所述的预测模型的参数训练方法。

10.一种计算机程序产品，包括指令，其特征在于，所述指令被处理器执行时实现权利要求1-5任一项所述的预测模型的参数训练方法。