[发明专利]语言模型训练方法、装置和计算机设备

说明书

本申请涉及一种语言模型训练方法、装置和计算机设备，所述方法包括：获取待处理文本及对应的标签词；将待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，第一待选词为预设词表中的词，第二待选词为待处理文本中的词；根据第一概率和第二概率处理得到目标词；根据目标词与标签词的差异，调整语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。本申请提供的方案可以提高语言模型预测的准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种语言模型训练方法、装置、计算机可读存储介质和计算机设备。

背景技术

自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向，它能通过自然语言实现人与计算机之间的对话通信。目前的自然语言模型训练方法是对上下文中的词进行编码，然后在词表上进行预测得到目标词。然而，目前的语言训练方法预测得到的内容准确性不高。

发明内容

基于此，有必要针对目前的语言训练方法预测得到的内容准确性不高的技术问题，提供一种语言模型训练方法、装置、计算机可读存储介质和计算机设备。

一种语言模型训练方法，包括：

获取待处理文本及对应的标签词；

将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

根据所述第一概率和所述第二概率处理得到目标词；

根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。

一种文本处理方法，所述方法包括：

获取待处理文本及对应的标签词；

将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

根据所述第一概率和所述第二概率处理得到目标词；

根据所述目标词生成所述待处理文本对应的目标文本。

一种语言模型训练装置，所述装置包括：

获取模块，用于获取待处理文本及对应的标签词；

第一处理模块，用于将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

第二处理模块，用于根据所述第一概率和所述第二概率处理得到目标词；

调整模块，用于根据所述目标词与标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。

一种文本处理装置，所述装置包括：

文本获取模块，用于获取待处理文本及对应的标签词；

语言模型处理模块，用于将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；

目标词获取模块，用于根据所述第一概率和所述第二概率处理得到目标词；

目标文本生成模块，用于根据所述目标词生成所述待处理文本对应的目标文本。