[发明专利]一种基于MPI的分布式ADMM垃圾邮件分类方法

说明书

本发明公开了一种基于MPI的分布式ADMM垃圾邮件分类方法，包含以下步骤：将文本数据向量化为数字格式的数据集；将数据集分割为训练集和测试集，对训练集进行过采样处理，再分割为若干份分别保存在若干个从节点上；MPI并行执行所有节点上的代码，从节点并行更新局部模型；主节点通过MPI规约功能汇总从节点的局部模型；主节点更新全局模型，并利用MPI广播功能将全局模型分发到各个从节点；循环交替更新从节点和主节点的模型，直到满足终止条件；保存主节点的全局模型作为分类器模型；利用训练得到的分类器模型对测试集进行分类，输出分类结果。本发明适合大数据场景下垃圾邮件分类任务，有效提升了分类的效率和精度。

技术领域

本发明涉及分布式机器学习领域，具体涉及一种基于MPI的分布式ADMM垃圾邮件分类方法。

背景技术

分类问题是人类所面临的一个非常重要且具有普遍意义的问题。它是基于已知训练集识别一个新的实例属于哪个类别的有监督的学习问题。将事物正确的分类，有助于人们认识世界，使杂乱无章的现实世界变得有条理。例如自动文本分类就是对大量的自然语言文本按照一定的主题类别进行自动分类，它是自然语言处理的一个十分重要的问题；文本分类主要应用于信息检索，机器翻译，自动文摘，信息过滤，邮件分类等任务。

交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)最早由Stephen Boyd等人于2010年提出，作为一种求解优化问题的计算框架，适用于求解分布式凸优化问题。ADMM算法为机器学习中的约束最优化问题的高效分布式求解提供了可能。原始的ADMM算法在统计机器学习、数据挖掘和计算机视觉等领域中得到了广泛应用。作为能够有效地协调若干个节点之间子全局模型变量优化的强有力工具，ADMM在分布式优化和统计学习中扮演着举足轻重的角色，受到了研究学者的极大关注。ADMM发展至今，己经被广泛地应用到机器学习、数据挖掘和信号处理等领域。

MPI(Massage Passing Interface，信息传递接口)是一个跨语言的通信协议，基于消息传递的编程模型，单机模式下用于不同进程间的通信，集群模式下用于不同机器的通信。在Linux、Windows、Mac OS上都可以安装运行，有MPICH、OpenMPI等若干个版本可以使用，可以使用C++、python等多种编程语言开发，由python实现的mpi4py库可以很好地结合numpy库，保证程序运行速度的同时实现高效开发。MPI可以实现点对点通信，一对多的广播通信，以及多对一的规约等多种通信方法。MPI既可以完成阻塞通信，也可以完成非阻塞通信。目前在学术界分布式计算领域得到广泛应用。

发明内容

本发明的目的在于提出一种基于MPI的分布式ADMM垃圾邮件分类方法，用于解决大数据环境下的垃圾邮件分类问题，并针对这一问题提出合适的基于ADMM的分布式框架，以提高性能和减少时间。

本发明将所要研究的问题分为若干个可并行计算的子问题，每个子问题用改进的随机梯度下降算法来解决，使用分布式ADMM框架交替优化逐步达到全局最优共识。

实现本发明的技术解决方案：一种基于MPI的分布式ADMM垃圾邮件分类方法，包括如下步骤：

步骤1、将文本数据向量化为数字格式的数据集；

步骤2、将数据集分割为训练集和测试集，对训练集进行过采样处理，再分割为若干份分别保存在若干个从节点上；

步骤3、MPI并行执行所有节点上的代码，从节点并行更新局部模型；

步骤4、主节点通过MPI规约功能汇总从节点的局部模型；

步骤5、主节点更新全局模型，并利用MPI广播功能将全局模型分发到各个从节点；

步骤6、循环交替更新从节点和主节点的模型，直到满足终止条件；

步骤7、保存主节点的全局模型作为分类器模型；