[发明专利]一种基于NB-Bagging的短文本分类方法

说明书

本发明公开了一种基于NB‑Bagging的短文本分类方法，属于文本分类与机器学习领域。针对朴素贝叶斯弱分类器的样本属性关联性差和过拟合问题，提出了一种朴素贝叶斯用Bagging思想集成的短文本分类方法。本方法首先使用结巴分词方法完成文本的分词，然后使用词向量空间模型和TF‑IDF算法来获得特征项和权重矩阵，再通过多个朴素贝叶斯分类器用Bagging方法集成得到多组分类预测标签，最后通过少数服从多数的投票方式得到最终的分类预测标签。本发明实现较高准确度的文本分类，优化了泛化能力和过拟合问题，提高了短文本分类的准确度。

技术领域

本发明涉及短文本分类技术领域，具体涉及一种基于NB-Bagging的短文本分类方法。

背景技术

在面对短文本的分类问题的时候，由于短文本长度短、词项特征稀疏等特点，导致传统的长文本分类方法不再适用于短文本分类。在文本分类领域中取得较成功的长文本分类方法难以直接应用到短文本分类中，短文本分类技术(Short Text Classification)在一定程度上可以解决上述短文本应用中面临的挑战，该技术是近年来国内外众多学者的研究热点之一，也是自然语言处理(NLP)领域中一项至关重要的任务，针对短文本的分类算法已经成为目前研究者亟待解决的一个研究难题。

现如今，比较主流的机器学习方法有朴素贝叶斯(Naïve Bayes, NB)、支持向量机(Support Vector Machine, SVM)、逻辑回归(Logistic Regression, LR)、多类逻辑回归(Softmax Regression, SR)、随机森林(Random Forest, RF)、深度神经网络(Deep NeuralNetwork, DNN)等。

传统的短文本分类方法主要是利用朴素贝叶斯单个弱分类器进行分类，其存在两个问题：1)分类过程中容易过拟合，过拟合会导致模型在预测时准确率低；2)样本属性关联性差，，忽略了数据之间的关联性；3.分类决策存在错误率。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于NB-Bagging的短文本分类方法，利用NB-Bagging算法对文本进行有监督训练测试，实现较高准确度的文本分类，优化了泛化能力和过拟合问题，提高了短文本分类的准确度。

技术方案：本发明提供了一种基于NB-Bagging的短文本分类方法，包括如下步骤：

步骤1：对文本数据集预处理，将数据分为训练集G1和测试集H1，通过结巴分词方法对所述训练集G1和测试集H1进行分词处理，得到文本数据集G2和H2，对所述文本数据集G2和H2进行 Bunch类数据化处理，得到Bunch数据类型G2'和H2'；

步骤2：通过词向量空间模型处理G2'中的文本内容，建立词向量空间V1，再映射到H2'中的文本内容，得到词向量空间V2；

步骤3：通过TF-IDF权重策略处理词向量空间V1和V2，得到权重矩阵T1和T2，将T1矩阵中的权重值和其对应的标签输入用Bagging集成的朴素贝叶斯模型中训练，再输入T2矩阵中的权重值和其对应的标签进行测试，得到预测标签F；

步骤4：通过少数服从多数的投票方式处理预测标签F，得到最终短文本分类的结果。

进一步地，所述步骤1的具体方法为：

步骤1.1：定义Text为单类文本集，定义label、text、name分别为标签、单个文本和名称，并且满足Text={(label,text1, name1),(label,text2, name2),…,(label,textN,nameN)}，texta为Text中第a个文本，namea为Text中第a个文本名称，其中，变量a∈[1,N]；