[发明专利]一种中文文本分类方法

摘要

本发明提出了一种中文文本分类方法，包括以下步骤：⑴文本的预处理，⑵特征表示和特征提取，⑶分类器的设计，⑷性能指标。本发明采用一种新的RBF神经网络算法，通过高斯径向基函数，使用K均值推导出隐藏项的中心点及宽度，并将由隐藏层得到的输出结果合并起来，从而得到分类的结果，这种算法准确率、召回率、F测量的值都很高，分类效果好。

主权项

1.一种中文文本分类方法，其特征在于：包括以下步骤：⑴文本的预处理，其包括语料的选择、文本分词、词频统计和文本表示；⑵特征表示和特征提取文本的特征表示方法也就是文本的模型，采用向量空间模型，将文本简化为特征项的权重为分量的向量表示；特征提取是指去除不能表示信息的词，以提高分类效率和减少计算复杂度，本方法采用信息增益，所述信息增益来源于信息论，它表示特征在文本中出现或者不出现为确定文本的类型所提供信息量的在大小，在文本分类中，特征tk的信息增益公式如下所示：其中：P(c_i)为训练中属于类型c_i的文本所占的比例，P(t_k)训练集中出现t_k的文本数除以训练集的大小，P(c_i|t_k)为c_i中出现特征t_k的文本数除以训练集中出现t_k的文本数，为训练集中不出现特征t_k的文本数除以训练集的大小，为类型c_i中不出现t_k的文本数除以训练集中不出现t_k的文本数；⑶分类器的设计分类器的设计即为选泽分类算法，本方法采用径向基函数RBF网络分类算法，RBF网络是一种非线性层状前馈网络，通过学习等价于在多维空间中寻找一个能够量佳拟合训练数据的曲面，也即利用这个多维曲面对测试数据进行插值，这是径向基函数方法的出发点；⑷性能指标文本分类型的性能指标有准确率(Pr)、召回率(Re)和F测量，准确率和召回率的公式如下：其中：PT为正确的肯定，PF为错误的肯定，NF为错误的否定。