[发明专利]一种基于新闻数据的中文文本分类系统

摘要

本发明公开了一种基于新闻数据的中文文本分类系统，主要实现可靠的文本分类功能，并且可以由用户根据需求选择不同的特征选择和分类算法，具有对用户提交的内容进行分类、提取关键内容并展示、用户可以对结果进行修改等功能。该发明包括文本分类模块、文档管理模块和分类器重训练模块，其中文本分类模块包括文本输入、预处理、特征提取、选择分类器以及对最终结果验证修改；文档管理模块包括搜索数据库中内容，修改已分类内容还有删除内容；分类器重训练模块是由后端统计新增加的内容数量，多于原内容的30%之后，会建议管理员选择基于当前数据为训练样本重训练分类器。本发明在保证可靠性的同时采用了效率较高的算法，丰富了演示的功能，同时具有很强的实用性。

主权项

本发明公开了一种文本分类的特征提取算法和文本分类算法，对于特征提取方法，主要改进如下：首先是为了最大化利用训练样本，参考了ALOFT的思想；然后对初步特征降维时采用的CHI方法添加了修正因子，改善了特征项类别负相关带来的影响；最后全面的思考了类内、类间分布对权重的影响，改进了权重计算方法；综合这三部分问题提出了新的特征提取方法，对于分类算法，针对SVM在多分类问题中需要大量分类器的问题和决策树准确率不稳定的问题，基于各自特点和优势进行结合，提出了结合偏二叉树结构决策树算法和最小二乘双支持向量机的分类算法。