[发明专利]语言模型训练及自然语言任务处理方法、装置及相关设备

权利要求书

1.一种语言模型训练方法，其特征在于，包括：

对训练文本进行占位符添加及随机字符掩码处理，得到编辑后训练文本，所述训练文本中随机选取的目标字符在所述编辑后训练文本中用设定掩码字符替代，且所述编辑后训练文本中在首条训练文本的起始字符前添加有第一占位符，在每条训练文本的末尾添加有第二占位符；

确定所述编辑后训练文本中包括第一、第二占位符及掩码字符在内的，每个字符的编码特征；

利用语言模型处理各字符的编码特征，得到与所述第一占位符对应的全局语义特征，以及与所述第二占位符对应的局部语义特征；所述全局语义特征用于表示所述训练文本整体的语义，所述局部语义特征用于表示所述训练文本中局部的语义；

基于所述掩码字符所在训练文本的末尾处的第二占位符对应的局部语义特征，预测所述掩码字符对应的目标字符，直至达到设定训练结束条件，得到训练后的语言模型。

2.根据权利要求1所述的方法，其特征在于，所述对训练文本进行占位符添加及随机字符掩码处理，得到编辑后训练文本，包括：

在首条训练文本的起始字符前添加第一占位符，在每条训练文本的末尾添加第二占位符，得到包含占位符的训练文本；

将所述包含占位符的训练文本按照字符进行拆分，并随机选取目标字符用设定掩码字符替代，得到编辑后训练文本；

或，

将每条训练文本按照字符进行拆分，并随机选取目标字符用设定掩码字符替代，得到掩码后训练文本；

在首条掩码后训练文本的起始字符前添加第一占位符，在每条掩码后训练文本的末尾添加第二占位符，得到编辑后训练文本。

3.根据权利要求1所述的方法，其特征在于，确定所述编辑后训练文本中包括第一、第二占位符及掩码字符在内的，每个字符的编码特征，包括：

对于编辑后训练文本中包括第一、第二占位符及掩码字符在内的，每个字符：分别确定字符的字符编码特征、片段编码特征和位置编码特征，其中，所述字符编码特征表示字符本身的含义，所述片段编码特征表示字符所在训练文本的排序顺序，所述位置编码特征表示字符在编辑后训练文本中的位置；

将每个字符的字符编码特征、片段编码特征和位置编码特征进行融合，得到每个字符融合后的编码特征。

4.根据权利要求3所述的方法，其特征在于，确定字符的位置编码特征的过程，包括：

确定所述编辑后训练文本中的分词及各分词的排序顺序；

对于编辑后训练文本中每个字符，按照字符所在分词的排序顺序，确定字符的位置编码特征。

5.根据权利要求1所述的方法，其特征在于，所述利用语言模型处理各字符的编码特征，得到与所述第一占位符对应的全局语义特征，以及与所述第二占位符对应的局部语义特征，包括：

利用语言模型将所述编辑后训练文本中的每个字符，分别与其余各字符进行注意力attention处理，得到每个字符融合其余字符含义后的特征表示，其中，由第一占位符对应的字符融合其余字符含义后的特征表示，作为全局语义特征，由第二占位符对应的字符融合其余字符含义后的特征表示，作为局部语义特征。

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

利用训练后的语言模型处理添加了第一、第二占位符后的训练文本，得到第一占位符对应的全局语义特征和第二占位符对应的局部语义特征；

将所述全局语义特征和所述局部语义特征进行融合，得到融合后语义特征；

将所述融合后语义特征输入下游的任务处理模块，得到任务处理模块预测的任务处理结果，以所述预测的任务处理结果趋近于所述训练文本对应的样本标签为目标，对任务处理模块的网络参数进行微调。

7.一种自然语言任务处理方法，其特征在于，包括：

获取待处理的任务文本；

利用权利要求1-6任一项训练得到的语言模型处理所述任务文本，得到所述语言模型输出的第一占位符对应的全局语义特征和第二占位符对应的局部语义特征；

将所述全局语义特征及局部语义特征进行融合，得到融合语义特征；

利用预配置的任务处理模块，基于所述融合语义特征进行指定任务处理，得到任务处理结果。