[发明专利]IG TF-IDF文本特征向量生成及文本分类方法

权利要求书

1.一种IG TF-IDF文本特征向量生成及文本分类方法，其特征在于，包括以下步骤：

步骤1：生成文本特征向量：

输入文本集，每个文本集包括若干文本，若干文本按照其文本类别组成若干数据集；基于IG TF-IDF方法，调节选项参数，生成每个文本的特征向量F(D_j)；所述IG TF-IDF为信息增益词频-反文档频率，即Information Gain，Term Frequency-Inverse DocumentFrequency；

步骤2：训练分类器：

步骤2.1：将文本集中的特征向量F(D_j)随机分成5等份，选取其中的4份数据组成训练集，剩下的1份作为测试集；

步骤2.2：将训练集输入分类器进行训练，得到训练后的分类器；

步骤3：评估分类性能：

利用训练后的分类器对测试集中的文本进行分类，并对测试集的分类结果进行评估，得到分类性能指标；根据分类性能指标，可以调节步骤1中的选项参数，直至用户满意为止；

步骤4：对目标文本集进行分类：

使用训练后的分类器对目标文本集进行分类，得到分类结果；所述目标文本集由用户选定；

所述步骤1具体包括：

步骤1.1：文本预处理；

对文本集中各个文本类型的编码进行统一，导入文本集中所有文本，对这些文本进行去燥和分词处理；

所述去燥包括标点符号、数字、停用词和其他无意义字符；

所述分词为使用NLPIR分词器对各个文本进行分词处理，提取出词条；

步骤1.2：统计文本特征；

由提取出的词条构建初始词汇表；

统计文本集中文本总数目；

统计各个词条的文本频率，即包含该词条的文本在文本总数目中的占比；

统计各个文本类别的文本数目；

统计各个词条的各个类别文本频率，即在任意一个文本类别中，包含该词条的文本在该文本类别的文本数目中的占比；

统计各个文本的各个词频，即该文本中每个词条的出现频次；

步骤1.3：去除低频词：

计算所有词条的文本频率DF，对初始词汇表中的所有词条进行初次评估，选择保留一些文本频率高于设定的最小文本频率，形成第二词汇表；

各个词条的文本频率df(T_i，C)计算方法为：

其中，count(T_i，C)是指在文本集C中，包含词条T_i的文本数量；N_C代表文本集合C中包含的文本总数目；

取文本频率df(T_i，C)高于设定的最小文本频率min_df的词条，形成第二词汇表；

min_df＝1e-3；

步骤1.4：词条权重计算：

用IG TF-IDF算法计算每个词条在文本中的权重，根据词条个数指标对词汇表进行过滤，选取每篇文本的前k个词条组合成为第三词汇表，并生成文本特征向量，具体实现步骤如下：

计算词条在总的数据集条件下对该文本的贡献度，即权值w_C(T_i，D_j)，利用如下公式：

w_C(T_i，D_j)＝tf*idf(T_i，C)

C代表文本集，由各文本类别的数据集C_m组成，即C＝{C₁，C₂，…，C_M}；其中反文本频率idf(T_i，C)，其计算方法为：

这里，count(T_i，C)是指在文本集C中，包含词条T_i的文档数量；N_C代表文本集C中包含的文档总数目；log是对数函数；

计算词条在各文本类别的数据集条件下对该文档的贡献度利用如下公式：

其中类别反文档频率idf(T_i，C_m)，利用如下公式：

其中，count(T_i，C_m)是指在第m类数据集C_m中，包含词条T_i的文档数量；代表第m类数据集C_m中包含的文档总数目；

按如下公式计算词条的权重值：

其中p_m是指第m类数据集C_m中的文档数目在总数据集C的文档数目的占比；

根据词条的权重值按从大到小的顺序排序，k由每篇文档的选前k个词条组合成为新的词汇表；

根据第三词汇表及词条在对应文档中的权重值表示文档D_j的特征向量如下：

F(D_j)＝[w(T₁，D_j)，w(T₂，D_j)，…，w(T_n，D_j)]。