[发明专利]基于邮件内容的多层次邮件分类方法

摘要

本发明公开了一种基于邮件内容的多层次邮件分类方法，针对样本的不平衡性对邮件分类的效果有重大影响的问题，采用构建三级分类器的方式：在第一级分类器的构建上采用朴素贝叶斯算法、支持向量机和C4.5算法组合投票的方式，在第二级分类器的构建上采用随机森林算法，在第三级分类器的构建上采用liblinear算法。本发明在分类器的设计上，采用了多级分类的方式，增加了算法的层次性，通过层层过滤，在保证召回率的情况下，逐步提高了分类器的准确率，使得正负样本的平衡性不断增加，从而在最后一级上实现邮件数据的基本平衡，使得最终的分类效果受样本不平衡性的影响较小，在邮件分类中取得了较好的效果。

主权项

1.基于邮件内容的多层次邮件分类方法，其特征在于，包括以下步骤：S1、对原始邮件数据集进行预处理，生成新的邮件数据集Email‑Matrix‑SVD；所述步骤S1具体包括以下分步骤：S11、邮件解析：通过分析邮件格式，对原始邮件数据集中的邮件内容、主题、发件人地址、发件时间、收件人地址以及附件信息进行提取，存储提取结果，生成邮件数据集EmailDatas；S12、生成邮件空间向量模型：对邮件数据集EmailDatas中邮件的内容和主题进行分词，并进行词根提取、词性标注和停用词过滤，然后通过位置和词性tf‑idf计算单词权重，之后通过卡方检验对单词进行初步筛选，生成邮件空间向量模型Email‑Matrix；S13、邮件去重：通过相似度计算对邮件空间向量模型Email‑Matrix中的邮件进行去重处理；S14、数据采样：采用过采样和欠采样结合的方法对邮件空间向量模型Email‑Matrix进行采样，降低邮件空间向量模型Email‑Matrix的不平衡程度；S15、数据降维：采用改进后的SVD降维算法对邮件空间向量模型Email‑Matrix进行降维处理，生成邮件数据集Email‑Matrix‑SVD；所述步骤S15具体包括以下分步骤：S151、对邮件空间向量模型Email‑Matrix的列向量进行特征空间聚类；S152、根据步骤S151的聚类结果，把邮件数据在特征维度上分割成m个邮件数据集Email‑Matrixi，i＝1,2,…,m；S153、对m个邮件数据集Email‑Matrixi调用原始SVD算法进行数据降维，得到m个新的邮件数据集Email‑Matrix‑SVDi，i＝1,2,…,m；S154、将m个新的邮件数据集Email‑Matrix‑SVDi合并成一个新的邮件数据集Email‑Matrix‑SVD‑tmp，再进行一次SVD降维得到邮件数据集Email‑Matrix‑SVD；S2、采用朴素贝叶斯算法、支持向量机和C4.5算法组合投票，构建第一级分类器，对邮件数据集Email‑Matrix‑SVD进行第一级过滤，得到重要、不重要以及不确定三个标签的邮件数据集；S3、采用随机森林算法构建第二级分类器，对第一级过滤后不确定标签的邮件数据集进行第二级过滤，得到重要、不重要以及不确定三个标签的邮件数据集；S4、采用liblinear算法构建第三级分类器，对第二级过滤后不确定标签的邮件数据集进行第三级过滤，得到重要、不重要两个标签的邮件数据集。