[发明专利]一种文本分类模型构建方法、文本分类方法及装置

说明书

本发明公开了一种文本分类模型构建方法、文本分类方法及装置，其中，文本分类模型构建方法包括：获取训练文本数据以及对应训练文本数据所属领域的多个预设标签属性信息；将训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；将每一个文本交互表示输入到特征提取模型，得到文本关键特征；将文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据概率值，得到分类结果；根据分类结果训练初始分类模型的模型参数，直至初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。

技术领域

本发明涉及数据处理及机器学习技术领域，具体涉及一种文本分类模型构建方法、文本分类方法及装置。

背景技术

文本分类是指用电脑对文本集按照一定的分类体系或标准进行自动分类标记。相关技术中，对文本进行分类时通常根据文本分类模型提取文本的语义特征进行分类，但是这种方法需要大量的训练样本、且不同文本标签类别对应的文本数据又不平衡，导致模型的泛化能力差，故亟待提出一种文本分类模型构建方法以减少训练样本、提高模型泛化能力。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中根据文本分类模型提取文本的语义特征进行分类对文本进行分类泛化能力差的缺陷，从而提供一种文本分类模型构建方法、文本分类方法及装置。

根据第一方面，本发明实施例公开了一种文本分类模型构建方法，包括如下步骤：获取训练文本数据以及对应所述训练文本数据所属领域的多个预设标签属性信息；将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；将每一个文本交互表示输入到特征提取模型，得到文本关键特征；将所述文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据所述概率值，得到分类结果；根据所述分类结果训练所述初始分类模型的模型参数，直至所述初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。

可选地，所述将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型之前，所述方法还包括：获取预训练文本数据，所述预训练文本数据与所述训练文本数据的领域和分类任务相同；将所述预训练文本数据输入到机器学习模型中进行训练，得到所述阅读理解模型。

可选地，将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，包括：对所述训练文本数据以及所述多个预设标签属性信息分别进行分词处理，得到训练文本数据序列和预设标签属性信息序列；将所述训练文本数据序列和预设标签属性信息序列进行拼接处理，输入到阅读理解模型。

可选地，所述初始分类模型为多层感知机制模型，通过下式得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值：

其中，p(label_j|W)表示训练文本数据属于第j个标签的概率；hcnn表示文本关键特征；h_CLS表示首位表征向量；表示hcnn与h_CLS拼接；MLP表示多层感知机制模型的函数。

可选地，通过下式得到所述损失函数值：

Loss＝y×p(label_j|W)+(1-y)×(1-p(label_j|W))

其中，loss表示损失函数值；y表示所述训练文本数据的标签属于第j个标签的真实概率；p(label_j|W)表训练文本数据的标签属于第j个标签的模型输出概率。