[发明专利]文本分类方法和装置

说明书

本发明公开了一种文本分类方法和装置，涉及计算机技术领域。其中，该方法包括：将待分类文本切分为多个语义单元，然后基于所述多个语义单元构建第一词序树；第一词序树包括多个分支，每个分支存储有一个语义单元组合，该语义单元组合中的各个语义单元按照其在待分类文本中出现的先后顺序排列；将第一词序树与已知类别的文本对应的第二词序树进行对比，根据对比结果确定所述待分类文本与所述已知类别的文本的相似度；根据所述待分类文本与所述已知类别的文本的相似度确定待分类文本的类别。通过以上步骤，能够在保证分类结果总体准确率的情况下，提高语料较小的类别的召回率，尤其适用于样本数量较小或者样本不均衡问题严重的文本分类场景。

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本分类方法和装置。

背景技术

目前，业内主要采用机器学习和深度学习两种方法对文本分类问题进行处理。机器学习方法主要依靠诸如逻辑回归(LR)、支持向量机(SVM)或朴素贝叶斯分类器等模型，具体实现时可通过提取底层数据特征、基于词频-逆文档词频(TF-IDF)等对特征进行挖掘、加入线性变换函数和激活函数等操作进行文本分类。深度学习方法主要依靠诸如卷积神经网络模型(CNN)或递归神经网络模型(RNN)等神经网络模型，在具体实现时通过卷积、池化、全连接或长短时记忆等操作进行文本分类。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：第一、传统机器学习算法都是在基于TF-IDF进行特征挖掘的基础之上进行算法拟合。由于TF-IDF没有考虑词序，在进行独热编码(One-Hot编码)时会将每个词单独记为一个特征，导致文本丧失了语序，所以文本分类效果往往不理想。第二、当语料质量欠佳、存在严重样本分布不均衡问题时(例如，两个类别的句子数量的比值大于20)，深度学习算法在语料数量大的类别上具有较好地识别效果，但是在语料数量少的类别上会出现特征学习不足、无法正确区分小语料特征、学习效果极差等问题，进而导致小语料的类别几乎难以被正确识别、分类效果极差、召回率极低。即使采用样本增强、添加噪音、平衡样本等方法，也难以达到比较好的效果。

发明内容

有鉴于此，本发明提供一种文本分类方法和装置，能够在保证分类结果总体准确率的情况下，提高语料较小的类别的召回率，尤其适用于样本数量较小或者样本不均衡问题严重的文本分类场景。

为实现上述目的，根据本发明的一个方面，提供了一种文本分类方法。

本发明的文本分类方法包括将待分类文本切分为多个语义单元，然后基于所述多个语义单元构建第一词序树；其中，所述第一词序树包括多个分支，每个分支存储有一个语义单元组合，并且所述语义单元组合中的各个语义单元按照其在待分类文本中出现的先后顺序进行排列；将第一词序树与分类语料库中已知类别的文本对应的第二词序树进行对比，然后根据对比结果确定所述待分类文本与所述已知类别的文本的相似度；根据所述待分类文本与所述已知类别的文本的相似度确定所述待分类文本的类别。

可选地，所述基于所述多个语义单元构建第一词序树的步骤包括：基于所述多个语义单元构建多个语义单元组合，并且确定所述语义单元组合中的各个语义单元的层次号；所述层次号是通过对同一语义单元组合中的语义单元按照其在待分类文本中出现的先后顺序进行排序得到的；按照所述层次号将所述多个语义单元组合中的语义单元存储至多叉树中对应层次的节点中，并令同一语义单元组合中的各个语义单元位于多叉树的同一分支中，以得到所述第一词序树。

可选地，所述对比结果包括：第二词序树中存在的与第一词序树匹配的语义单元组合；所述将第一词序树与分类语料库中已知类别的文本对应的第二词序树进行对比的步骤包括：从第一词序树中获取所有的语义单元组合，然后根据获取的每个语义单元组合对所述已知类别的文本对应的第二词序树进行遍历、比对，以确定第二词序树中存在的与第一词序树匹配的语义单元组合。