[发明专利]文本分类模型的训练方法、文本分类方法及装置

说明书

本发明提供了一种文本分类模型的训练方法、文本分类方法及装置。其中，文本分类模型的训练方法包括：获取预训练样本，其中，预训练样本包括标注不同对话角色的k轮对话文本内容，k为大于1的整数；对预训练样本进行特征提取，获得特征向量，其中，特征提取包括角色特征提取；根据特征向量获得损失值，并根据损失值对初始模型进行预训练，获得预训练模型；对预训练模型的参数进行微调，获得文本分类模型。本发明提供的技术方案能够提高文本分类模型的分类效果。

技术领域

本发明涉及神经网络技术领域，具体涉及一种文本分类模型的训练方法及装置、文本分类方法及装置。

背景技术

近年来，预训练模型在自然语言处理领域应用非常广泛。该类模型首先在大量无标签样本上通过自监督方式预先训练一个初始模型，学习到通用的文本表示，然后在应用时只需在特定任务(例如文本分类任务)上，对该模型进行微调。相比于从头开始训练，在预训练模型基础上进行微调所需训练样本更少，并且模型有更强的泛化能力。

然而，当前的预训练模型如BERT(Bidirectional Encoder Representation fromTransformers，基于变换器的双向编码表征)模型等，训练语料通常是将对话文本内容直接拼接在一起，没有针对专门的对话场景，因此训练语料和应用时的对话场景语料差异比较大，影响了文本分类模型的分类准确度。

发明内容

有鉴于此，本发明实施例提供了一种文本分类模型的训练方法及装置、文本分类方法及装置，能够提高文本分类模型的分类效果。

根据本发明实施例的第一方面，提供一种文本分类模型的训练方法，包括：获取预训练样本，其中，预训练样本包括标注不同对话角色的k轮对话文本内容，k为大于1的整数，不同对话角色之间的一次问答过程为一轮对话；对预训练样本进行特征提取，获得特征向量，其中，特征提取包括角色特征提取；根据特征向量获得损失值，并根据损失值对初始模型进行预训练，获得预训练模型；对预训练模型的参数进行微调，获得文本分类模型。

在本发明的一个实施例中，k轮对话文本内容中的前t轮对话为上下文文本信息，k轮对话文本内容中的后k-t轮对话为答复文本信息，所述答复文本信息为与所述上下文文本信息的上下文关系对应的答复文本；t为小于k的整数，损失值包括第一损失值，其中，上述根据特征向量获得损失值，并根据损失值对初始模型进行预训练，获得预训练模型，包括：根据特征向量获得答复文本信息为上下文文本信息的答复文本的概率，并根据所述概率获得第一损失值；根据第一损失值对初始模型进行预训练，获得预训练模型。

在本发明的一个实施例中，上述根据特征向量获得答复文本信息为上下文文本信息的答复文本的概率，并根据概率获得第一损失值，包括：将特征向量输入到初始模型，利用初始模型对上下文文本信息进行上下文文本特征提取，获得上下文特征矩阵，以及利用初始模型对答复文本信息进行答复文本特征提取，获得答复特征矩阵；根据上下文特征矩阵和答复特征矩阵，获得答复文本信息为与上下文文本信息的上下文关系对应的答复文本的概率；根据概率，利用损失函数获得第一损失值。

在本发明的一个实施例中，损失值包括第二损失值，其中，上述方法还包括：对预训练样本中的部分词进行掩码处理，获得掩码后的文本信息；其中，上述对预训练样本进行特征提取，获得特征向量，包括：对掩码后的文本信息进行特征提取，获得特征向量；其中，上述根据特征向量获得损失值，并根据损失值对初始模型进行预训练，获得预训练模型，包括：根据特征向量获得掩码位置的预测结果，并获得第二损失值；根据第二损失值对初始模型进行预训练，获得预训练模型。