[发明专利]文本分类方法和装置

说明书

本发明实施例提出一种文本分类方法和装置，涉及自然语言处理技术领域。该文本分类方法包括：获取待测文本；将待测文本输入预先训练的分类模型，分类模型包括特征提取网络和分类网络，分类网络包括多个分类器；利用特征提取网络从待测文本中提取得到多个文本特征信息；将多个文本特征信息一一对应输入分类网络的多个分类器进行分类处理，得到每个分类器的概率值；依据每个分类器的概率值得到待测文本的分类结果。本发明实施例提出的文本分类方法和装置具有准确率和效率高的优点。

技术领域

本发明涉及自然语言处理技术领域，具体而言，涉及一种文本分类方法和装置。

背景技术

多标签文本分类是自然语言处理的核心研究领域，也是实现智能系统的关键技术。传统的多标签文本处理方法是对每一个标签做一个二分类器，然后将所有的二分类器进行融合，最终计算得出所有的类别标签。该方法在类别标签增多时，难以实现，且模型过多时，算法效率会严重下降。

发明内容

有鉴于此，本发明的目的在于提供一种文本分类方法和装置，其具有准确率和效率高的优点。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，实施例提供一种文本分类方法，所述方法包括：

获取待测文本；

将所述待测文本输入预先训练的分类模型，所述分类模型包括特征提取网络和分类网络，所述分类网络包括多个分类器；

利用所述特征提取网络从所述待测文本中提取得到多个文本特征信息；

将所述多个文本特征信息一一对应输入所述分类网络的多个分类器进行分类处理，得到每个所述分类器的概率值；

依据每个所述分类器的概率值得到所述待测文本的分类结果。

在可选的实施方式中，所述分类模型还包括全连接网络，所述将所述待测文本输入预先训练的分类模型的步骤，还包括：

将所述多个文本特征信息输入所述全连接网络，利用所述全连接网络将所述多个文本特征信息处理成多个一维向量；

将所述多个一维向量一一对应输入所述多个分类器进行分类处理，得到每个所述分类器的概率值。

在可选的实施方式中，所述分类模型是按照以下方式进行训练的：

获取训练样本；

将所述训练样本输入预先构建的分类模型；

利用所述特征提取网络从所述训练样本中提取得到多个训练文本特征信息；

将所述多个训练文本特征信息一一对应输入所述分类网络的多个分类器进行分类处理，得到每个所述分类器的概率值；其中，每个所述分类器预先对应设置有标签信息；

根据每个分类器的标签信息和输出的概率值，对所述特征提取网络和每个所述分类器的参数更新，得到训练后的分类模型。

在可选的实施方式中，所述根据每个分类器的标签信息和输出的概率值，对所述特征提取网络和每个所述分类器的参数更新，得到训练后的分类模型的步骤，包括：

将每个分类器的标签信息和输出的概率值进行计算，获得与每个分类器对应的交叉熵损失函数；

对多个所述交叉熵损失函数进行加权平均计算，获得目标损失函数；

依据所述目标损失函数对所述特征提取网络的参数和每个所述分类器的权重进行更新，直至所述目标损失函数满足预设收敛条件，得到所述训练后的分类模型。

在可选的实施方式中，所述对多个所述交叉熵损失函数进行加权平均计算，获得目标损失函数的步骤，包括：