[发明专利]一种基于机器学习的多核下MPI最优运行时的参数预测方法

说明书

技术领域

本发明涉及多核环境下MPI优化，具体来说，涉及一种基于机器学习的多核下MPI最优运行时的参数预测方法。

背景技术

随着多核技术更加广泛的应用于机群，多核机群下MPI应用的性能优化成为了研究的热点。目前主流的MPI库实现(Open MPI、MPICH等)都提供了可调的运行时参数机制，允许用户根据特定的应用需求、硬件以及操作系统来调优运行时参数以提升MPI应用的性能。

本章我们设计实现了一种基于机器学习的通用的多核环境下MPI运行时参数优化模型，能自动为给定软、硬件结构的多核机群下的MPI程序预测接近最优的运行时参数组合。我们提出的预测模型基于机器学习中的决策树和人工神经网络方法，通过对预测模型的离线训练和在线学习，能自动为未知的MPI程序预测接近最优的运行时参数。要预测的MPI程序由对源码运行一次得到的动态特征和通信器大小等静态特征来共同描述。我们提出的基于机器学习的最优MPI运行时参数预测方法在基于InfiniBand的多核SMP机群上进行验证，并运用Open MPI这一主流的MPI库作为预测MPI最优运行时参数的环境。通过NAS并行基准套件2.4中的IS和LU基准的实验证明，与Open MPI默认配置相比，基于机器学习的预测模型得到的优化运行时参数组合能为多核机群下的MPI应用带来最多约20％的性能提升。

多核技术指将两个或多个处理内核集成到一个处理器芯片当中，并通过将负载分配到多核上来加速应用的处理性能。目前基于多核技术的机群已经成为高性能计算领域的主流平台，越来越多的机群采用多核处理器作为核心部件[CHAI08]。消息传递接口MPI(Message Passing Interface)是机群下最常用的并行编程模型，广泛应用于分布式以及共享内存系统。

多核处理器的新特性使多核机群的存储层次更加复杂，同时也给MPI程序带来了新的优化空间。虽然算法的数据局部性、负载均衡等是影响MPI应用性能的因素，但其与具体的特定应用特性有关，直接将现有的MPI程序移植到多核机群平台上，应用的性能和可扩展性并没有得到多大的改进[SW 09]。目前对于多核下MPI的优化研究主要集中在混合MPI/OpenMP、优化MPI运行时参数、优化MPI进程拓扑、MPI集合通信的优化等方面，其中可调的运行时参数对多核环境下的MPI应用的性能有着重要的影响，但最优的运行时参数依赖于多核节点或多核机群的底层架构以及MPI程序自身的特征。

主流的MPI库实现都提供了可调的运行时参数机制，允许用户通过调整运行时参数来获得更高性能。例如可以根据通信消息的大小来修改点到点通信采用的协议，即修改MPI库中由立即通信协议(Eager)转为集中通信协议(Rendezvous)的阀值参数。可调的运行时参数对多核机群下的MPI应用的性能有着重要的影响，但最优的运行时参数极大程度上依赖于多核机群的存储层次(包括节点内二级或三级缓存的共享方式等)、机群的网络互联方式(包括Infiniband网络、千兆以太网和Myrinet网络等)、机群的通信性能(包括内存和网络的通信延迟与带宽)、机群内MPI应用的通信层次(包括Chip内、Chip间以及节点内通信)等因素。

图1显示了在一个10节点，每节点8核的多核机群下五个运行时参数的不同配置组合对NAS并行基准套件中IS基准(Class B)的性能影响。在Infiniband互联的AMD双核10节点的机群下，最佳的运行时参数配置与Open MPI库默认设置相比可以带来最多约20％的性能提升，而错误的配置与默认配置相比造成约30％的性能损失。

图2显示运行时参数对Jacobi基准的影响。实验显示在一个32核的AMD节点上且矩阵规模为4096*6096时，对于Jacobi基准，8个MPI进程时获得最大加速比的最优参数配置组合与16个MPI进程时不同(与默认配置相比)。同时实验结果也显示在8个MPI进程下，最优的MPI运行时参数可以给Jacobi基准带来约70％的性能提升。