[发明专利]一种基于NB-Bagging的短文本分类方法

权利要求书

1.一种基于NB-Bagging的短文本分类方法，其特征在于，包括如下步骤：

步骤1：对文本数据集预处理，将数据分为训练集G1和测试集H1，通过结巴分词方法对所述训练集G1和测试集H1进行分词处理，得到文本数据集G2和H2，对所述文本数据集G2和H2进行 Bunch类数据化处理，得到Bunch数据类型G2'和H2'；

步骤2：通过词向量空间模型处理G2'中的文本内容，建立词向量空间V1，再映射到H2'中的文本内容，得到词向量空间V2；

步骤3：通过TF-IDF权重策略处理词向量空间V1和V2，得到权重矩阵T1和T2，将T1矩阵中的权重值和其对应的标签输入用Bagging集成的朴素贝叶斯模型中训练，再输入T2矩阵中的权重值和其对应的标签进行测试，得到预测标签F；

步骤4：通过少数服从多数的投票方式处理预测标签F，得到最终短文本分类的结果。

2.根据权利要求1所述的基于NB-Bagging的短文本分类方法，其特征在于，所述步骤1的具体方法为：

步骤1.1：定义Text为单类文本集，定义label、text、name分别为标签、单个文本和名称，并且满足Text={(label,text1, name1),(label,text2, name2),…,(label,textN,nameN)}，texta为Text中第a个文本，namea为Text中第a个文本名称，其中，变量a∈[1,N]；

步骤1.2：定义训练集和测试集分别为G1和H1，G1={Text1,Text2,…,TextA}，H1={Text1,Text2,…,TextB}；

步骤1.3：使用结巴分词方法对G1和H1处理，去掉结巴分词库里的常用词和符号，得到分词后的文本数据集G2和H2，G2={Text1,Text2,…,TextP}，H2={Text1,Text2,…,TextQ}；

步骤1.4： 定义target_name,labels,filenames,contents分别为数据集类别集合、文本标签集合、文本文件名字集合和文本内容集合，满足target_name={labels,filenames,contents}；

步骤1.5：对G2和H2 Bunch类数据化处理，得到Bunch数据类型G2'和H2'，G2'={target_name1,target_name2,…,target_nameA}，H2'={target_name1,target_name2,…,target_nameB}。

3.根据权利要求1所述的基于NB-Bagging的短文本分类方法，其特征在于，所述步骤2的具体方法为：

步骤2.1：使用常用停用词表对G2'和H2'中的文本内容进行停用词过滤处理，得到过滤后的Bunch类数据集G2''和H2''；

步骤2.2：通过词向量空间模型建立G2''中文本内容的词向量空间V1，使用权重策略TF-IDF对V1进行处理，得到训练集的二维权重矩阵T1，T1=[v1,v2,…,vm]；

步骤2.3：将V1词向量空间映射到H2''文本内容上，得到测试集词向量空间V2，使用TF-IDF权重策略处理V2，得到测试集的二维权重矩阵T2，T2=[v1,v2,…,vn]。