[发明专利]一种基于MPI和Adaboost.MH的中文文本分类方法

摘要

本发明公开了一种基于MPI和Adaboost.MH的中文文本分类方法，用于解决当数据量较大时，Adaboost.MH训练时间较长因而导致总的中文文本分类时间较长的问题。该方法包括将经过分词处理的中文文本保存到训练数据集，然后将互信息方法与MPI相结合，实现特征词选择，然后所有进程通过MPI中的MPI_Reduce函数进行归约求和进而求得相似度，根据相似度的大小选择特征词。接着每个进程根据其所包含的中文文本中选择的特征词是否存在来给特征词赋予权值。然后根据MPI的通信函数将进程计算结果进行整合得到文本分类模型，利用分类模型对待分类的中文文本分类。本发明极大地缩短了对中文文本进行分类的时间。

主权项

一种基于MPI和Adaboost.MH的中文文本分类方法，包括以下步骤：(1)文本预处理：搜集不同领域的中文文本文件，对搜集到的中文文本进行中文分词，然后将标点符号及停用词去除，将分词后的词条用空格符分隔保存到训练集数据中，作为初步特征；(2)特征词选择：通过使用互信息方法对预处理文本的初步特征进行选择；(3)构建权值向量：对每个进程的每一篇中文文本文件，扫描判断挑选的特征词是否在该中文文本文件中，如果文件中存在该特征词，这该特征词对应的权值为1，否则该特征词对应的权值为0，构建中文文本文件权值向量；(4)构建文本分类模型：利用Adaboost.MH算法构建分类模型；(5)对待分类文本进行分类：根据步骤(4)构建的分类模型对待分类文本进行分类。