[发明专利]基于密度自适应过采样的垃圾邮件分类系统及方法

权利要求书

1.一种基于密度自适应过采样的垃圾邮件分类系统，其特征在于，包括：

数据输入模块，所述数据输入模块用于输入原始邮件数据集合，其中所述原始邮件数据集合包括垃圾邮件数据集合和非垃圾邮件数据集合，包括输入原始邮件数据集合D＝{(x_i,y_i)|x_i∈R^d,y_i∈{0,1},i＝1,L,n}，n是原始邮件数据集合中样本的总数，d是原始邮件数据集合的特征数，x_i表示第i条邮件数据，y_i是其标签,若y_i＝0，则x_i为非垃圾邮件；若y_i＝1，则x_i为垃圾邮件,令D＝D_maj∪D_min，其中D_maj为多数类数据集合，即非垃圾邮件数据集合，其样本数记为n_maj；D_min为少数类数据集合，即垃圾邮件数据集合，其样本数记为n_min,令所需新生成的样本点个数为n_new＝n_maj-n_min；

过采样模块，所述过采样模块用于剔除所述垃圾邮件数据集合中的噪音样本点，获得剔除噪音样本点后的第一垃圾邮件数据集合，计算所述第一垃圾邮件数据集合中的每个样本点的密度，并生成第二垃圾邮件数据集合；

数据训练模块，所述数据训练模块用于将生成的第二垃圾邮件数据集合和原始邮件数据集合进行求和，获得最终的邮件数据集合，利用最终的邮件数据集合对神经网络模型进行训练，获得邮件识别模型；

邮件识别模块，所述邮件识别模块用于接收待识别的邮件数据，并将其输入至所述邮件识别模型，输出所述邮件数据的识别结果；

其中，所述过采样模块包括：

噪音样本点剔除子模块，其用于计算所述垃圾邮件数据集合中的样本点的均值以及标准差，并基于所述样本点的均值和标准差判断所述样本点是否为噪音样本点，若判断结果为是，则剔除该样本点，并更新所述垃圾邮件数据集合中的样本点，若判断结果为否，则保留该样本点,具体包括计算垃圾邮件数据集合中的样本点的均值μ＝[μ₁,μ₂,...,μ_d]^T以及标准差σ＝[σ₁,σ₂,...,σ_d]^T，若对i∈[1,L,n_min]，j＝1,L,d，只要|x_ij-μ_j|＞4σ_j成立，则该样本点被认为是噪音样本点，若样本点为噪音样本点，则去除这些样本点，得到第一垃圾邮件数据集合D'_min，其样本点个数记为n'_min；

样本密度计算子模块，其用于计算第一垃圾邮件数据集合中的每个样本点的密度值，并对密度值进行归一化处理，并计算第一垃圾邮件数据集合中每个样本点周围应生成的样本点个数，具体包括在第一垃圾邮件数据集合D'_min中，对于样本点x_i(x_i∈D'_min,i＝1,L,n'_min)寻找其K个同类近邻令表示样本点x_i和其近邻之间的欧氏距离，则第一垃圾邮件数据集合中每个样本点的密度计算为得到D'_min中每个样本点的密度之后，先对密度值大小进行归一化操作，即然后，再计算D'_min中每个样本点周围应生成的样本点个数：N_new(x_i)＝n_new×nor_density(x_i)(i＝1,L,n'_min)；

样本生成子模块，其用于依据每个样本点周围应生成的样本点个数生成新的样本点，获得第二垃圾邮件数据集合，具体包括由样本点x_i∈D'_min生成一个新样本第j个特征的方案：其中α_j∈(0,1)是为第j个特征随机产生的生成系数，函数表示从x_i的近邻集合中中随机选择一个近邻并取其第j个特征值，由此，在x_i周围生成的新样本为：并将其加入到集合D_new中，对样本点x_i，需要在其周围生成N_new(x_i)个新样本，重复新样本生成的步骤即可；对D'_min中的所有样本点，重复新样本生成的步骤，直到所有样本点都被遍历过，由此，得到第二垃圾邮件数据集合D_new。