[发明专利]自然语言处理模型的训练方法、自然语言处理方法及装置

权利要求书

1.一种自然语言处理模型的训练方法，其中，所述自然语言处理模型包括统一预训练语言模型和多个分支任务模型；所述方法包括：

将输入文本输入自然语言处理模型中的统一预训练语言模型，以便对所述输入文本进行针对多个分支任务的语义学习，得到针对所述多个分支任务的语义特征，其中，所述统一预训练语言模型是针对所述多个分支任务进行统一训练得到的，所述多个分支任务模型与所述多个分支任务一一对应，所述多个分支任务包括用于语义理解的第一分支任务和用于语言生成的第二分支任务；

将所述语义特征分别输入自然语言处理模型中与各个分支任务对应的分支任务模型，以便基于所述语义特征分别进行针对各个分支任务的特征学习，得到针对各个分支任务的第一输出结果；

根据针对各个分支任务的第一输出结果，计算针对各个分支任务的损失；以及

根据针对各个分支任务的损失，调整所述统一预训练语言模型以及所述各个分支任务模型的参数中的至少之一。

2.根据权利要求1所述的方法，其中，所述基于所述语义特征分别进行针对各个分支任务的特征学习，得到针对各个分支任务的第一输出结果包括：

针对所述输入文本中的每个字，基于所述语义特征确定位于所述字之前的上文信息以及位于所述字之后的下文信息；

根据所述上文信息和下文信息，确定所述输入文本的语义理解信息，作为针对所述第一分支任务的第一输出结果。

3.根据权利要求2所述的方法，还包括：

根据所述上文信息和下文信息，计算所述输入文本中的多个语句之间的逻辑距离，作为针对第一分支任务的第一输出结果。

4.根据权利要求2所述的方法，还包括：

根据所述上文信息和下文信息，确定所述输入文本中的多个语句之间的逻辑顺序，作为针对第一分支任务的第一输出结果。

5.根据权利要求1所述的方法，其中，所述基于所述语义特征分别进行针对各个分支任务的特征学习，得到针对各个分支任务的第一输出结果包括：针对所述输入文本中的每个字，

基于所述语义特征确定位于所述字之前的上文信息；

基于所述上文信息，预测位于所述字之后的下文信息，作为针对第二分支任务的第一输出结果。

6.根据权利要求1所述的方法，还包括：

基于所述语义特征分别确定针对各个分支任务的第二输出结果。

7.根据权利要求6所述的方法，其中，所述根据针对各个分支任务的第一输出结果，计算针对各个分支任务的损失包括：

根据所述针对各个分支任务的第一输出结果和第二输出结果，计算针对各个分支任务的损失。

8.根据权利要求6所述的方法，其中，所述基于所述语义特征分别确定针对各个分支任务的第二输出结果包括以下之一：

基于所述语义特征，确定所述输入文本的语义理解信息，作为针对第一分支任务的第二输出结果；

基于所述语义特征，计算所述输入文本中的多个语句之间的逻辑距离，作为针对第一分支任务的第二输出结果；

基于所述语义特征，确定所述输入文本中的多个语句之间的逻辑顺序，作为针对第一分支任务的第二输出结果。

9.根据权利要求6所述的方法，其中，所述基于所述语义特征分别确定针对各个分支任务的第二输出结果包括：

针对所述输入文本中的每个字，基于所述语义特征预测所述字的下文信息，作为针对第二分支任务的第二输出结果。

10.一种自然语言处理方法，包括：

获取针对预设分支任务的待处理文本；以及

使用自然语言处理模型对所述待处理文本进行针对多个分支任务的语义学习，得到针对所述多个分支任务的语义特征，并根据所述语义特征进行针对所述预设分支任务的特征学习，得到针对所述预设分支任务的处理结果；

其中，所述多个分支任务包括所述预设分支任务，所述自然语言处理模型是利用根据权利要求1至9中任一项所述的方法训练的。