[发明专利]一种中文文本分类方法

说明书

本发明提出了一种中文文本分类方法，包括以下步骤：⑴文本的预处理，⑵特征表示和特征提取，⑶分类器的设计，⑷性能指标。本发明采用一种新的RBF神经网络算法，通过高斯径向基函数，使用K均值推导出隐藏项的中心点及宽度，并将由隐藏层得到的输出结果合并起来，从而得到分类的结果，这种算法准确率、召回率、F测量的值都很高，分类效果好。

技术领域

本发明涉及数据采集技术领域，具体涉及一种中文文本分类方法。

背景技术

本分类一般包括了文本的表达、分类器的选择与训练、分类结果的评价与反馈等过程，其中文本的表达又可细分为文本预处理、索引和统计、特征抽取等步骤。

传统的文本分类方法，通常对类别间区别较为明显的长文档进行分类，譬如网页内容分类(体育、新闻、财经和军事等)。然而在某些特定领域，如公安的接警信息自动化分类、微博情感分析等短文档分类中，类别之间的差距十分细微，对文本类别精细程度要求越高，分类的准确性就变得越低。

以朴素贝叶斯算法为例，贝叶斯算法关注的是文档属于某类别的概率。文档属于某个类别的概率等于文档中每个词属于该类别的概率的综合表达式。而每个词属于该类别的概率又在一定程度上可以用这个词在该类别训练文档中出现的次数(词频信息)来粗略估计，因而使得整个计算过程成为可行的。使用朴素贝叶斯算法时，在训练阶段的主要任务就是估计这些值。但是，在公安接警信息中，类别之间的差距十分细微，表达文档主题的关键词可能只有1至2 个，这样一来其他噪声词汇对分类结果的干扰就十分明显。特别是，随着分类精细程度的提高，如将盗窃案细分为撬门入户盗窃案、溜门入户盗窃案、插门入户盗窃案等等，此时，分类的准确率将急剧下降，远远无法满足实际应用的需要。

因此，针对上述问题，本发明提出了一种新的技术方案。

发明内容

本发明的目的是提供一种算法准确率、召回率、F测量的值都很高，分类效果好的中文文本分类方法。

本发明是通过以下技术方案来实现的：

一种中文文本分类方法，包括以下步骤：

⑴文本的预处理，其包括语料的选择、文本分词、词频统计和文本表示；

⑵特征表示和特征提取

文本的特征表示方法也就是文本的模型，采用向量空间模型，将文本简化为特征项的权重为分量的向量表示；

特征提取是指去除不能表示信息的词，以提高分类效率和减少计算复杂度，本方法采用信息增益，所述信息增益来源于信息论，它表示特征在文本中出现或者不出现为确定文本的类型所提供信息量的在大小，在文本分类中，特征t_k的信息增益公式如下所示：

其中：P(c_i)为训练中属于类型c_i的文本所占的比例，P(t_k)训练集中出现t_k的文本数除以训练集的大小，P(c_i|t_k)为c_i中出现特征t_k的文本数除以训练集中出现t_k的文本数，为训练集中不出现特征t_k的文本数除以训练集的大小，为类型c_i中不出现t_k的文本数除以训练集中不出现t_k的文本数；

⑶分类器的设计

分类器的设计即为选泽分类算法，本方法采用径向基函数RBF 网络分类算法，RBF网络是一种非线性层状前馈网络，通过学习等价于在多维空间中寻找一个能够量佳拟合训练数据的曲面，也即利用这个多维曲面对测试数据进行插值，这是径向基函数方法的出发点；

⑷性能指标