[发明专利]一种基于改进互信息和熵的文本分类特征提取方法

摘要

本发明提供一种用于文本分类的特征提取方法，用于解决文本分类存在的准确率和召回率有待进一步提高的问题。本发明是一种策略性方法。考虑到统计热力学中熵的概念，熵用来描述体系的混乱程度，它在控制论、概率论、数论、天体物理、生命科学、信息论等领域都有重要应用。本发明认为熵同样可以用在文本分类中，可以将特征看成是一个事件，文本的类集就是一个系统，这样熵就可以衡量特征和类别的混乱程度，进而转化为它们之间关系的紧密程度。本发明在改进互信息的基础上，结合熵的概念，提出一种新的特征评估函数，并基于该函数进行特征提取，能选取更优特征子集，用以表示文本和构建分类器，以提高文本分类的准确率与召回率。

主权项

1.一种基于改进互信息和熵的文本分类特征提取方法，其特征在于，包含如下步骤：步骤1) 将数据集中的训练文本进行预处理，分词后去掉一些停用词，得到特征词，计算每个特征词在文档中出现的频度，统计全部的文档数，包含每个特征词的文档数，根据公式（5）计算每个特征的权重，并将文本表示为向量：，公式（5）为：，其中为特征(词条)t_i在文档d中的频度，N为全部的文档数量，为包含词条t_i的文档数，为一常量，其值通常取0.01，为反文档频率，分母是归一化因子；步骤2) 基于训练文本集，利用特征评估函数TFMIIE对每个特征词t进行评分；步骤21) 计算含有特征t的文档数，及其与整个训练集文档数的比值；步骤22) 对每个类别c_i，分别计算训练文本集中c_i 类文档数、含有特征t的c_i类文档数与整个训练集文档数的比值，计算训练文本集中含有特征t的c_i类文档数与含有特征t 的文档数的比值；步骤23) 按公式（8）计算特征词t的评分，公式（8）为：，其中，t为特征词，简称特征，C为训练文本的类别集合，m是文本分类类别的个数，， p(c_i)、p(t)、p(t, c_i)分别是训练文本集中c_i 类文档数、含有特征t 的文档数、含有特征t的c_i类文档数与整个训练集文档数的比值，是训练文本集中含有特征t的c_i类文档数与含有特征t 的文档数的比值；步骤3) 按照评分值从高到低的顺序对特征词进行排序；步骤4) 根据需要，选取前若干个特征词组成特征子集，用以构建文本的向量和文本分类器；根据得到的特征子集，压缩所有训练集文本向量的维数，并将特征权重再进行归一化。