[发明专利]语言模型训练方法、装置和计算机设备

权利要求书

1.一种语言模型训练方法，包括：

获取待处理文本及对应的标签词；

将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

根据所述第一概率和所述第二概率处理得到目标词；

根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，包括：

将所述待处理文本转化为向量序列；

将所述向量序列输入至语言模型中，得到第一待选词对应的第一概率；

拷贝所述待处理文本，通过所述语言模型对所述待处理文本解码，得到第二待选词对应的第二概率。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一概率和所述第二概率处理得到目标词，包括：

对所述第一概率和所述第二概率加权处理，得到每个待选词对应的目标概率；

确定所述目标概率中最大的概率；

将所述最大的概率对应的待选词作为目标词。

4.根据权利要求1或2所述的方法，其特征在于，在所述根据所述目标词与所述标签词的差异，调整所述语言模型的参数之后，所述方法还包括：

从所述待处理文本中获取所述目标词对应的上下文，将所述目标词及对应的上下文输入至所述语言模型中进行处理。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取测试文本；

将所述测试文本输入至所述目标语言模型中，得到第一待选词对应的第一概率以及第二待选词对应的第二概率；

对所述第一概率和所述第二概率加权处理，得到每个待选词对应的目标概率；

确定所述目标概率中最大的概率；

将所述最大的概率对应的待选词作为目标词。

6.根据权利要求1或2所述的方法，其特征在于，所述语言模型的参数包括所述第一概率对应的权重或者所述第二概率对应的权重。

7.一种文本处理方法，其特征在于，所述方法包括：

获取待处理文本及对应的标签词；

将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

根据所述第一概率和所述第二概率处理得到目标词；

根据所述目标词生成所述待处理文本对应的目标文本。

8.一种语言模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取待处理文本及对应的标签词；

第一处理模块，用于将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

第二处理模块，用于根据所述第一概率和所述第二概率处理得到目标词；

调整模块，用于根据所述目标词与标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。

9.一种文本处理装置，其特征在于，所述装置包括：

文本获取模块，用于获取待处理文本及对应的标签词；

语言模型处理模块，用于将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

目标词获取模块，用于根据所述第一概率和所述第二概率处理得到目标词；

目标文本生成模块，用于根据所述目标词生成所述待处理文本对应的目标文本。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。