[发明专利]预测模型的模型参数更新方法及装置

权利要求书

1.一种预测模型的模型参数更新方法，其特征在于，应用在所述预测模型的参数服务器中，包括：

接收工作服务器对获取的模型参数执行模型参数迭代训练后发送的参数更新请求，所述参数更新请求包括所述模型参数的梯度信息；

响应于所述参数更新请求，检测所述模型参数的类型；

若所述模型参数的类型为预测模型的嵌入参数，则根据不同参数更新算法和执行相应参数更新算法的内存需求量的关联关系，从所述不同参数更新算法中选取第一参数更新算法，并采用所述第一参数更新算法和所述梯度信息中的当前梯度，对所述嵌入参数进行更新；其中，所述第一参数更新算法为所需的内存需求量小于预设需求量的算法。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述模型参数的类型为预测模型的网络参数，则采用第二参数更新算法和所述梯度信息中的当前梯度，对所述网络参数进行更新；其中，所述第二参数更新算法为收敛速度大于预设速度阈值的算法。

3.根据权利要求1所述的方法，其特征在于，采用第一参数更新算法和所述梯度信息中的当前梯度，对所述嵌入参数进行更新，包括：

根据所述嵌入参数的当前梯度和所述嵌入参数的历史梯度，获取参数减小量；其中，所述参数减少量与所述当前梯度正相关，与存储的当前的梯度变化量反相关，所述当前的梯度变化量表征所述当前梯度和所述历史梯度的梯度变化程度；所述参数减少量表示为：式中，M为所述当前的梯度变化量，α为预设学习率，t为迭代次数，g_t为所述当前梯度；

根据所述嵌入参数减小量，对所述嵌入参数进行更新。

4.根据权利要求3所述的方法，其特征在于，所述当前梯度和所述历史梯度均包括N个梯度值，所述N表示所述嵌入参数的维数；

所述当前的梯度变化量的获取步骤包括：

计算所述嵌入参数的所述N个维数中每个维数对应的所述当前梯度和所述历史梯度的梯度总量，其中，所述梯度总量与所述N的比值为所述当前的梯度变化量。

5.根据权利要求2所述的方法，其特征在于，对所述网络参数进行更新之后，所述方法还包括：

根据对象推荐系统中每个预测参数服务器存储的嵌入参数的种类，对更新后的嵌入参数进行分组，得到至少一组更新后的嵌入参数；

针对每组更新后的嵌入参数，将该组更新后的嵌入参数发送至相应预测参数服务器，以使所述预测参数服务器采用所述每组更新后的嵌入参数替换存储的相应嵌入参数；

将更新后的网络参数发送至所述对象推荐系统中的每个推理服务器，以使所述每个推理服务器采用所述更新后的网络参数替换存储的网络参数。

6.一种预测模型的模型参数更新装置，其特征在于，应用在所述预测模型的参数服务器中，包括：

接收单元，被配置为执行接收工作服务器对获取的模型参数执行模型参数迭代训练后发送的参数更新请求，所述参数更新请求包括所述模型参数的梯度信息；

检测单元，被配置为执行响应于所述参数更新请求，检测所述模型参数的类型；

获取单元，被配置为执行获取不同参数更新算法和相应参数更新算法的算法特点；所述算法特点包括执行参数更新算法的内存需求量；

更新单元，被配置为执行若所述模型参数的类型为预测模型的嵌入参数，则根据所述执行参数更新算法的内存需求量，从所述不同参数更新算法中选取第一参数更新算法，并采用第一参数更新算法和所述梯度信息中的当前梯度，对所述嵌入参数进行更新；其中，所述第一参数更新算法为所需的内存需求量小于预设需求量的算法。

7.根据权利要求6所述的装置，其特征在于，所述更新单元，还被配置为执行若所述模型参数的类型为预测模型的网络参数，则采用第二参数更新算法和所述梯度信息中的当前梯度，对所述网络参数进行更新；其中，所述第二参数更新算法为收敛速度大于预设速度阈值的算法。