[发明专利]文本处理及其模型的训练方法、装置、设备和存储介质

权利要求书

1.一种文本处理方法，包括：

对文本进行正则化处理，以获得正则化文本；

提取所述正则化文本的表示特征；

基于所述表示特征，并行执行多个任务，以获得所述多个任务中各个任务的任务结果。

2.根据权利要求1所述的方法，其中，所述多个任务包括：

分词、词性标注、韵律预测、多音字预测、变调中的至少两项。

3.根据权利要求1所述的方法，其中，所述提取所述正则化文本的表示特征，包括：

采用预训练语言模型，对输入的所述正则化文本进行特征提取，以输出所述正则化文本的表示特征。

4.根据权利要求1-3任一项所述的方法，其中，所述基于所述表示特征，并行执行多个任务，以获得所述多个任务中各个任务的任务结果，包括：

采用所述各个任务对应的单个深度学习模型，对输入的所述表示特征进行处理，以输出所述各个任务的任务结果。

5.根据权利要求4所述的方法，其中，所述深度学习模型为分类网络模型。

6.一种文本处理模型的训练方法，所述文本处理模型包括：特征提取模型和多个任务处理模型，所述方法包括：

采用所述特征提取模型，对输入的训练文本进行特征提取，以输出所述训练文本的表示特征；

采用所述多个任务处理模型中各个任务处理模型，对所述表示特征进行处理，以输出各个任务的预测结果；

基于所述预测结果和所述训练文本的标签数据，构建损失函数；

基于所述损失函数，调整所述特征提取模型的模型参数和所述多个任务处理模型中至少一个任务处理模型的模型参数。

7.根据权利要求6所述的方法，其中，所述多个任务处理模型用于执行如下任务中的至少两项：

分词、词性标注、韵律预测、多音字预测、变调中的至少两项。

8.根据权利要求6或7所述的方法，其中，

所述特征提取模型为预训练语言模型；和/或，

所述各个任务处理模型为分类网络模型。

9.一种文本处理装置，包括：

正则化模块，用于对文本进行正则化处理，以获得正则化文本；

特征提取模块，用于提取所述正则化文本的表示特征；

任务执行模块，用于基于所述表示特征，并行执行多个任务，以获得所述多个任务中各个任务的任务结果。

10.根据权利要求9所述的装置，其中，所述多个任务包括：

分词、词性标注、韵律预测、多音字预测、变调中的至少两项。

11.根据权利要求9所述的装置，其中，所述特征提取模块进一步用于：

采用预训练语言模型，对输入的所述正则化文本进行特征提取，以输出所述正则化文本的表示特征。

12.根据权利要求9-11任一项所述的装置，其中，所述任务执行模块进一步用于：

采用所述各个任务对应的单个深度学习模型，对输入的所述表示特征进行处理，以输出所述各个任务的任务结果。

13.根据权利要求12所述的装置，其中，所述深度学习模型为分类网络模型。