[发明专利]IG TF-IDF文本特征向量生成及文本分类方法

摘要

本发明具体涉及一种IG TF‑IDF文本特征向量生成及文本分类方法，属于文本挖掘和机器学习领域。所述方法包括：1)生成文本特征向量；2)训练分类器；3)评估分类性能；4)对目标文本集进行分类；本发明计算所得权重更能真实的反映不同词条对文本分类的重要程度，使得具有强类别区分能力的词条被分配更大的权重，使得权重计算更加合理，从而提高了文本分类的准确度；而且计算所得词条权重无需知道具体所述类别，克服了TFADF等有监督方法在多类别文本中分类的不足。

主权项

1.一种IG TF‑IDF文本特征向量生成及文本分类方法，其特征在于，包括以下步骤：步骤1：生成文本特征向量：输入文本集，每个文本集包括若干文本，若干文本按照其文本类别组成若干数据集；基于IG TF‑IDF方法，调节选项参数，生成每个文本的特征向量F(Dj)；所述IG TF‑IDF为信息增益词频‑反文档频率，即Information Gain，Term Frequency‑Inverse Document Frequency；步骤2：训练分类器：步骤2.1：将文本集中的特征向量F(Dj)随机分成5等份，选取其中的4份数据组成训练集，剩下的1份作为测试集；步骤2.2：将训练集输入分类器进行训练，得到训练后的分类器；步骤3：评估分类性能：利用训练后的分类器对测试集中的文本进行分类，并对测试集的分类结果进行评估，得到分类性能指标；根据分类性能指标，可以调节步骤1中的选项参数，直至用户满意为止；步骤4：对目标文本集进行分类：使用训练后的分类器对目标文本集进行分类，得到分类结果；所述目标文本集由用户选定。