[发明专利]一种基于优化TFIDF的特征提取方法及系统

摘要

本发明提供一种基于优化TFIDF的特征提取方法及系统，其中方法包括对文本进行分词处理并计算TF和IDF值，还包括以下步骤：记录所有类文档总数和一个类的文档总数，计算类别分布因子；记录一个类中包含特征词的文档数和所有类中包含相同特征词的文档数，计算类间分布因子；分别计算每个文档中特征词出现位置的方差值，求取相同特征词的方差值之和，计算方差分布因子；对所述TF和IDF值的权重值、所述类别分布因子、所述类间分布因子和所述方差分布因子进行归一化计算，得到优化后的权重值。本发明提出的基于优化TFIDF的特征提取方法及系统，基于词频分布信息和TFIDF类别分布信息提出三个分布因子，三个分布因子相互独立，共同支撑单个文本具有大量词汇的不平衡数据集的权重衡量，同时每个因子的值和权重成正相关，以乘积的形式计算最终值。