[发明专利]一种不平衡网络文本分类优化系统

说明书

本发明公开了一种不平衡网络文本分类优化系统及方法。涉及计算机数据挖掘技术领域，其特征在于，所述系统包括：数据输入单元，用于输入文本语料：TX＝{t₁，t₂，t₃，...，t_n}；输入投票级别：N；输入最小特征数：min；输入最大特征数：max；中文分词处理单元，用于对TX进行中文分词，去掉没有意义的连词、介词和感叹词，得到CX＝{c₁，c₂，c₃，...，c_n}；特征提取单元，用于进行特征提取；模型分类单元，用于采用训练好的SVM分类器、朴素贝叶斯分类器和KNN分类器对特征提取的结果进行分类；根据投票级别：N，对分类后的结果进行判别；结果输出单元，用于得到每条文本语料的分类结果TC＝{m₁，m₂，m₃，...，m_n}。可优化不平衡网络文本小类的表示效果，提高小类的识别率；同时，通过优化集成学习的投票策略，提高小类的召回率。

技术领域

本发明涉及计算机数据挖掘领域，具体而言，涉及一种不平衡网络文本分类优化系统。

背景技术

网络文本是从海量互联网信息中过滤有效信息，互联网每天会产生大量数据信息，文本挖掘装置一天采集互联网信息达5000万条，而有用的信息相对而言是非常少，通常比例会达到1000：1以上。这种分类情况属于典型的不均衡数据集的分类，传统的关键字法、分类算法等文本挖掘方式在这种情况下效果很差。

在对不平衡的分类数据集进行建模时，传统算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中获取足够的信息来进行精确预测。因此，机器学习算法常常被要求应用在平衡数据集上。

发明内容

本发明的目的在于提供一种不平衡网络文本分类优化系统，可优化不平衡网络文本小类的表示效果，提高小类的识别率；同时，通过优化集成学习的投票策略，提高小类的召回率。

本发明的另一目的在于提供一种不平衡网络文本分类优化方法，具有相应效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

一种不平衡网络文本分类优化系统，其特征在于，所述系统包括：。

数据输入单元，用于输入文本语料：TX＝{t₁,t₂,t₃,…,t_n}；输入投票级别：N；输入最小特征数：min；输入最大特征数：max；

中文分词处理单元，用于对TX进行中文分词，去掉没有意义的连词、介词和感叹词，得到CX＝{c₁,c₂,c₃,…,c_n}；

特征提取单元，用于进行特征提取；

模型分类单元，用于采用训练好的SVM分类器、朴素贝叶斯分类器和KNN分类器对特征提取的结果进行分类；根据投票级别：N，对分类后的结果进行判别；

结果输出单元，用于得到每条文本语料的分类结果TC＝m₁,m₂,m₃,…,m_n}。

进一步的，所述特征提取单元包括：

不均衡文本统计单元，用于对CX＝{c₁,c₂,c₃,…,c_n}中所有分词进行不均衡文本统计，得到每个分词统计后的对应的不均衡文本统计量：X_n1、X_n2、Y_n1和Y_n2；