[发明专利]基于RNN的语言模型的训练方法及相关装置

权利要求书

1.一种基于RNN的语言模型的训练方法，其特征在于，包括：

将一条长句子训练数据的元素按照时间划分为N部分，N≥2；

对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值；

根据计算得到的Nce损失值，利用BPTT计算得到梯度；

根据所述梯度更新基于RNN的语言模型的参数；

判断所述长句子训练数据划分的所有部分是否均计算了Nce损失值，若否，则转入执行对于所述长句子训练数据中还未计算Nce损失值的时间最早，结合与其对应的一组负样本，计算得到Nce损失值的步骤，若是，则结束。

2.根据权利要求1所述的基于RNN的语言模型的训练方法，其特征在于，在每次执行对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值的步骤之前，还包括：

从预设的元素库中随机抽取若干元素作为与所述长句子训练数据中还未计算Nce损失值的时间最早的部分对应的一组负样本。

3.根据权利要求1所述的基于RNN的语言模型的训练方法，其特征在于，在所述将一条长句子训练数据的元素按照时间划分为N部分的步骤之后，且在对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值的步骤之前，还包括：

从预设的元素库中随机抽取元素生成M组负样本，2≤M≤N；

将所述长句子训练数据的N部分划分为M组，且所述N部分划分的M组中的各组与所述M组负样本中的各组负样本一一对应。

4.根据权利要求1～3中任意一项所述的基于RNN的语言模型的训练方法，其特征在于，所述基于RNN的语言模型，具体为：

基于LSTM的语言模型。

5.一种基于RNN的语言模型的训练装置，其特征在于，包括：

元素划分单元，用于将一条长句子训练数据的元素按照时间划分为N部分，N≥2；

损失值计算单元，用于对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值；

梯度计算单元，用于根据计算得到的Nce损失值，利用BPTT计算得到梯度；

模型优化单元，用于根据所述梯度更新基于RNN的语言模型的参数；

判断单元，用于判断所述长句子训练数据划分的所有部分是否均计算了Nce损失值，若否，则转入执行损失值计算单元，若是，则结束。

6.根据权利要求5所述的基于RNN的语言模型的训练装置，其特征在于，还包括：

第一负样本生成单元，用于在每次执行所述损失值计算单元之前，从预设的元素库中随机抽取若干元素作为与所述长句子训练数据中还未计算Nce损失值的时间最早的部分对应的一组负样本。

7.根据权利要求5所述的基于RNN的语言模型的训练装置，其特征在于，还包括：

第二负样本生成单元，用于从预设的元素库中随机抽取元素生成M组负样本，2≤M≤N；以及将所述长句子训练数据的N部分划分为M组，且所述N部分划分的M组中的各组与所述M组负样本中的各组负样本一一对应。

8.根据权利要求5所述的基于RNN的语言模型的训练装置，其特征在于，所述基于RNN的语言模型，具体为：

基于LSTM的语言模型。

9.一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1～4中任一项所述的基于RNN的语言模型的训练方法的各个步骤。

10.一种基于RNN的语言模型的训练设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1～4中任一项所述的基于RNN的语言模型的训练方法的各个步骤。