[发明专利]基于密度自适应过采样的垃圾邮件分类系统及方法

说明书

本发明涉及一种基于密度自适应过采样的垃圾邮件分类系统，包括数据输入模块用于输入原始邮件数据集合，其中原始邮件数据集合包括垃圾邮件数据集合和非垃圾邮件数据集合；过采样模块用于剔除垃圾邮件数据集合中的噪音样本点，使噪音样本点不参与过采样的过程，获得第一垃圾邮件数据集合，计算第一垃圾邮件数据集合中的每个样本点的密度，生成第二垃圾邮件数据集合；数据训练模块用于获得最终的邮件数据集合，利用其对神经网络模型进行训练，获得邮件识别模型；邮件识别模块用于将待识别的邮件数据输入至邮件识别模型，并输出识别结果。本发明能够达到数据样本数量的平衡，克服现有技术因数据样本数量不平衡而导致的对垃圾邮件检测率较低的问题。

技术领域

本发明涉及数据挖掘技术领域，尤其是指一种基于密度自适应过采样的垃圾邮件分类系统及方法。

背景技术

随着互联网技术的日趋发展，电子邮件已成为人们日常交流和获取信息的一种方式。在电子邮件的使用过程中，难免会遇到广告邮件、骚扰邮件、欺诈邮件等垃圾邮件。某些商家和不法分子会利用垃圾邮件传播广告信息，甚至获取用户的消费行为等信息。因此，分辨这些垃圾邮件并将其归类为至垃圾邮件存放会大大提升用户使用电子邮件的交流体验感，并破坏不法分子利用垃圾邮件来获取利益的企图。

目前，机器学习方法已经被用到了垃圾邮件识别中，然而，在日常生活中，一般收到的都是非垃圾邮件，垃圾邮件较少，这是典型的数据分布不平衡的问题，因此经典的学习模型对垃圾邮件检测率往往较低。因此，需要一种方法使得垃圾邮件和非垃圾邮件的数量达到平衡。过采样方法就是使得数量达到平衡的一种方法，其中SMOTE(SyntheticMinority Oversampling Technique)是最为经典的过采样技术之一，SMOTE是通过线性插值的方式在少数类样本之间进行插值，生成新的样本点，但是这个方法存在对无用的样本点过采样以及类边界重叠的问题。然后Borderline-SMOTE是SMOTE的一种改进方法，其能够解决SMOTE样本重叠问题。但是该方法选择样本的生成区域有限，存在一定的局限性。因此，如何选择哪些样本点进行过采样以及如何选择合适的位置进行样本点生成是过采样方法中值得研究的问题。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于密度自适应过采样的垃圾邮件分类系统及方法，其通过去除数据集合中的噪音样本，计算每个样本点的密度大小，并生成新的样本点，从而达到数据样本数量的平衡，克服了现有技术因数据样本数量不平衡而导致的对垃圾邮件检测率较低的问题。

为解决上述技术问题，本发明提供一种基于密度自适应过采样的垃圾邮件分类系统，包括：

数据输入模块，所述数据输入模块用于输入原始邮件数据集合，其中所述原始邮件数据集合包括垃圾邮件数据集合和非垃圾邮件数据集合；

过采样模块，所述过采样模块用于剔除所述垃圾邮件数据集合中的噪音样本点，获得剔除噪音样本点后的第一垃圾邮件数据集合，计算所述第一垃圾邮件数据集合中的每个样本点的密度，并生成第二垃圾邮件数据集合；

数据训练模块，所述数据训练模块用于将所述生成的第二垃圾邮件数据集合和原始邮件数据集合进行求和，获得最终的邮件数据集合，利用最终的邮件数据集合对神经网络模型进行训练，获得邮件识别模型；

邮件识别模块，所述邮件识别模块用于接收待识别的邮件数据，并将其输入至所述邮件识别模型，输出所述邮件数据的识别结果。

在本发明的一个实施例中，所述过采样模块包括：

噪音样本点剔除子模块，所述噪音样本点剔除子模块用于计算所述垃圾邮件数据集合中的样本点的均值以及标准差，并基于所述样本点的均值和标准差判断所述样本点是否为噪音样本点，若为噪音样本点，则不参与后续样本生成；