[发明专利]用于对文本集进行分类的方法、系统及存储介质

说明书

本发明提供一种用于对文本集进行分类的方法、系统及存储介质，属于文本分类算法技术领域。方法包括：读取需要被分类的文本集并对所述文本集进行预处理；确定所述文本集的困惑度；在所述困惑度取最小值的情况下，确定所述文本集的主题数；根据所述主题数采用BTM模型生成所述文本集的主题向量；采用Doc2vec模型根据所述文本集生成特征向量；合并所述主题向量和所述特征向量以生成所述文本集的特征空间向量；将所述特征空间向量作为SVM分类器的原始输入空间向量输入SVM分类器以进行分类。用于对文本集进行分类的方法、系统及存储介质，该方法、系统及存储介质可以提高文本分类算法的效率。

技术领域

本发明涉及文本分类算法技术领域，具体地涉及一种用于对文本集进行分类的方法、系统及存储介质。

背景技术

文本分类算法是计算机程序领域常用的算法之一，目前已有的文本分类算法主要包括两种。一种是基于机器学习方法的分类算法，例如基于概率统计的朴素贝叶斯分类方法、基于信息熵的决策树方法、k近邻算法、神经网络分类算法和SVM(Support VectorMachine，支持向量机)分类算法等；另一种是基于深度学习的分类算法，例如CNN(Convolution Neural Network，卷积神经网络)算法和RNN(Recurrent Neural Networks，循环神经网络)分类算法。

但是上述算法在实际的应用过程中因为文本内容以及分类要求的变化会经常出现分类效果不佳的问题。例如朴素贝叶斯分类方法受限于假设影响分类的属性之间相互独立不符合实际；决策树方法对于文本这种具有连续性特征的数据分类效果不佳；k紧邻算法在文本分类方面应用很少，对数据集的要求很高，普通的三层神经网络算法分类效果一般；SVM是经过实验证明的针对相同数据集进行文本分类准确率较高的分类器，但受制于数据集较大时，文本表示时特征空间维度过高，计算复杂度高，效率低。

自2012年深度学习进入人们视野以来，有很多研究者投入了巨大精力用于研究深度神经网络，深度神经网络在图片分类领域不断取得突破，但随着分类效果的不断提升，隐层网络层数不断增加，参数不断增加，计算复杂度不断增加，即使有人对参数个数加以控制，但若要取得较好的分类效果，参数仍将达到万级。而深度学习在文本分类这块的应用也在不断发展，但分类技术远不及图片分类技术成熟。

发明内容

本发明的目的是提供一种用于对文本集进行分类的方法、系统及存储介质，该方法、系统及存储介质可以提高文本分类算法的效率。

为了实现上述目的，本发明的一方面提供一种用于对文本集进行分类的方法，该方法可以包括：

读取需要被分类的文本集并对所述文本集进行预处理；

确定所述文本集的困惑度；

在所述困惑度取最小值的情况下，确定所述文本集的主题数；

根据所述主题数采用BTM模型生成所述文本集的主题向量；

采用Doc2vec模型根据所述文本集生成特征向量；

合并所述主题向量和所述特征向量以生成所述文本集的特征空间向量；

将所述特征空间向量作为SVM分类器的原始输入空间向量输入SVM分类器以进行分类。

可选地，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：

采用PV-DM模型根据所述文本集生成第一特征向量。

可选地，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：

采用PV-DBOW模型根据所述文本集生成第二特征向量。

可选地，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：