[发明专利]一种垃圾邮件过滤的中文关键词规则生成方法

摘要

本发明公开了一种垃圾邮件过滤的中文关键词规则生成方法，该方法主要包括从邮件集中获取关键词候选词、特征提取得到关键词、获取关键词规则触发情况、为关键词规则赋分值四个步骤，对比当前技术，本发明提出的方法改进了关键词特征提取方法，结合词频和文档频率的特征提取方法降低通用词汇的影响，使用神经网络算法计算规则分值，比较遗传算法降低了学习的开销。本发明解决当前中文关键词规则时效性不足，并且能够根据一个特定的用户群体对于垃圾邮件的定义以及提供的邮件数据集生成最符合用户特征的关键词规则。

主权项

1.一种垃圾邮件过滤的中文关键词规则生成方法，其特征在于：该方法通过对给定邮件数据集进行数据预处理获取该数据集中邮件的邮件头以及邮件体部分的所有词汇作为关键词候选词，通过结合词频和文档频率的特征提取方法选定关键词，进而使用该关键词规则对上述邮件数据集进行邮件过滤从而得到关键词规则在垃圾邮件和正常邮件的触发情况，并且使用此触发情况作为神经网络算法的输入，通过随机下降方法训练神经网络直到过滤效果收敛，将训练得到的权重转化为规则的分数，最终得到的规则即可应用于基于规则的邮件过滤的解决方案中；其具体包括以下步骤：1)通过邮件筛选、邮件解析、中文分词对邮件数据集进行预处理得到关键词候选词集合；2)对候选词集合的全部词汇统计词频、文档频率，通过先比较词频后比较文档频率的特征提取从候选词集合中选出关键词；3)收集邮件数据集中每封邮件的关键词触发情况，并格式化触发情况数据；4)根据上述关键词触发情况通过神经网络算法对关键词规则赋分值。