[发明专利]一种基于MPI和Adaboost.MH的中文文本分类方法

权利要求书

1.一种基于MPI和Adaboost.MH的中文文本分类方法，包括以下步骤：

(1)文本预处理：搜集不同领域的中文文本文件，对搜集到的中文文本进行中文分词，然后将标点符号及停用词去除，将分词后的词条用空格符分隔保存到训练集数据中，作为初步特征；

(2)特征词选择：通过使用互信息方法对预处理文本的初步特征进行选择；

(3)构建权值向量：对每个进程的每一篇中文文本文件，扫描判断挑选的特征词是否在该中文文本文件中，如果文件中存在该特征词，这该特征词对应的权值为1，否则该特征词对应的权值为0，构建中文文本文件权值向量；

(4)构建文本分类模型：利用Adaboost.MH算法构建分类模型；

(5)对待分类文本进行分类：根据步骤(4)构建的分类模型对待分类文本进行分类。

2.根据权利要求1所述一种基于MPI和Adaboost.MH的中文文本分类方法，其特征在于：步骤(2)所述特征词选择的具体步骤为：

首先将训练集数据平均分为p份，每个进程依次读取其中的一份；然后分别统计各进程的A、B、C、N值，A为在类别c中特征词t出现的中文文本分数；B为在除了类别c的其他类别中特征词t出现的中文文本分数；C为在类别c中特征词t未出现的中文文本分数；N为所有类别中中文文本分数的总和；接着所有进程通过MPI中的MPI_Reduce函数对A、B、C、N进行归约求和，结果保存到进程0中，进程0根据归约求和的结果计算特征词t和类别c之间的相似度I；最后通过快速排序算法对特征词的相似度I进行排序，将相似度I较大的n个特征词保留，并将选择的结果广播给所有的进程，所有进程根据收到的广播信息挑选特征词。

3.根据权利要求2所述一种基于MPI和Adaboost.MH的中文文本分类方法，其特征在于：所述相似度I的计算公式为：

4.根据权利要求1所述一种基于MPI和Adaboost.MH的中文文本分类方法，其特征在于：所述分类模型的构建过程如下：

步骤一、根据训练集数据，每个进程对自身所包含样本标签赋予权值1/(mk)，m为训练集样本数，k为样本的类别总数；

步骤二、每个进程根据公式统计自身所包含样本的所有特征词的权值存入进程0中，其中j表示特征词是否存在，表示第个标签，b为-1或1，-1表示样本不包含该标签，1表示样本包含该标签，m表示训练集的样本数，表示在第t次迭代时第i个样本的第个标签的权值，x_i表示第i个训练样本，X_j表示特征词存在或不存在的情况下的所有训练样本的集合，Y_i表示第i个样本的标签；

步骤三、在进程0中根据公式计算所有特征的Z_t，其中Z_t表示归一化因子，表示特征词存在或特征词不存在的第个标签为1的训练样本在分布中的权值和，表示特征词存在或特征词不存在的第个标签为-1的训练样本在分布中的权值和；选择Z_t值最小的特征词w作为要选取的特征词；然后根据特征词w计算标签概率表示标签为1的概率，表示标签不为1的概率，通过MPI_Bcast函数将Z_t、w、和广播给所有进程，所有进程将其存入结构体rule中；

步骤四、每一个进程根据权值分布更新公式对标签权值分布进行更新，其中α_t＝1，当w∈x，则当则w为特征词，表示第i个训练样本的第个标签为1的置信度；

步骤五、重复步骤二至四T次，第T次迭代时步骤四不操作，获得T个一级决策树分类器。

5.根据权利要求4所述一种基于MPI和Adaboost.MH的中文文本分类方法，其特征在于：所述标签概率通过以下公式计算，ε表示平滑系数，为1/mk,其中m为训练样本数，k为训练集标签数，即文本类别数。

6.根据权利要求4或5所述一种基于MPI和Adaboost.MH的中文文本分类方法，其特征在于：所述对待分类文本进行分类为：将待分类的中文文本文件进行步骤(1)、(2)和(3)的处理后，根据T个一级决策树分类器对各自所包含的样本分类，最后根据公式将分类结果进行整合得出最后的预测类别。