[发明专利]文本分类模型的训练方法、文本分类方法及装置

权利要求书

1.一种文本分类模型的训练方法，其特征在于，包括：

获取预训练样本，其中，所述预训练样本包括标注不同对话角色的k轮对话文本内容，k为大于1的整数，不同对话角色之间的一次问答过程为一轮对话；

对所述预训练样本进行特征提取，获得特征向量，其中，所述特征提取包括角色特征提取；

根据所述特征向量获得损失值，并根据所述损失值对初始模型进行预训练，获得预训练模型；

对所述预训练模型的参数进行微调，获得文本分类模型。

2.根据权利要求1所述的方法，其特征在于，所述k轮对话文本内容中的前t轮对话为上下文文本信息，所述k轮对话文本内容中的后k-t轮对话为答复文本信息，所述答复文本信息为与所述上下文文本信息的上下文关系对应的答复文本；t为小于k的整数，所述损失值包括第一损失值，其中，所述根据所述特征向量获得损失值，并根据所述损失值对初始模型进行预训练，获得预训练模型，包括：

根据所述特征向量获得所述答复文本信息为所述上下文文本信息的答复文本的概率，并根据所述概率获得所述第一损失值；以及

根据所述第一损失值对所述初始模型进行预训练，获得所述预训练模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述特征向量获得所述答复文本信息为所述上下文文本信息的答复文本的概率，并根据所述概率获得所述第一损失值，包括：

将所述特征向量输入到所述初始模型，利用所述初始模型对所述上下文文本信息进行上下文文本特征提取，获得上下文特征矩阵，以及利用所述初始模型对所述答复文本信息进行答复文本特征提取，获得答复特征矩阵；

根据所述上下文特征矩阵和所述答复特征矩阵，获得所述答复文本信息为与所述上下文文本信息的上下文关系对应的答复文本的概率；

根据所述概率，利用损失函数获得所述第一损失值。

4.根据权利要求1所述的方法，其特征在于，所述损失值包括第二损失值，其中，所述方法还包括：

对所述预训练样本中的部分词进行掩码处理，获得掩码后的文本信息；

其中，所述对所述预训练样本进行特征提取，获得特征向量，包括：

对所述掩码后的文本信息进行特征提取，获得所述特征向量；

其中，所述根据所述特征向量获得损失值，并根据所述损失值对初始模型进行预训练，获得预训练模型，包括：

根据所述特征向量获得掩码位置的预测结果，并获得第二损失值；

根据所述第二损失值对所述初始模型进行预训练，获得所述预训练模型。

5.根据权利要求1所述的方法，其特征在于，所述对所述预训练模型的参数进行微调，获得文本分类模型，包括：

获取训练样本，其中，所述训练样本包括对话文本信息和分类标签，所述对话文本信息包括标注不同对话角色的至少一轮对话文本内容；

利用所述预训练模型对所述对话文本信息进行特征提取，获得特征向量，其中，所述特征提取包括角色特征提取；

根据所述特征向量进行文本分类，获得分类预测结果，并根据所述分类预测结果和所述分类标签获得第三损失值；

根据所述第三损失值对所述预训练模型的参数进行微调，获得所述文本分类模型。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述特征提取还包括对话轮数特征提取，所述对话轮数特征用于标识所述k轮对话文本内容中每轮对话内容所处的轮次。

7.一种文本分类方法，其特征在于，包括：

获取对话文本信息，其中，所述对话文本信息包括标注不同对话角色的至少一轮对话文本内容；

对所述对话文本信息进行特征提取，获得特征向量，其中，所述特征提取包括角色特征提取；

根据所述特征向量进行文本分类。

8.根据权利要求7所述的方法，其特征在于，所述至少一轮对话文本内容包括多轮对话文本内容，其中，所述特征提取还包括提取对话轮数特征，所述对话轮数特征用于标识所述多轮对话文本内容中每轮对话内容所处的轮次。