[发明专利]一种基于MPI的集群资源调度方法、装置及系统

说明书

本发明公开了一种基于MPI的集群资源调度方法、装置及系统，所述方法包括：获取集群内各计算机的资源剩余信息；获取当前MPI任务所需资源；根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。本发明根据当前任务所需资源和集群内各计算机的资源剩余信息生成可用资源列表；根据所述可用资源列表执行当前任务的资源调度，实现了MPI框架上的资源调度能力，将客户端基于mpich之上进行了封装，对本就高效的MPI框架集成上了资源调度的能力，可以自动化的调度集群内的资源使用，能有效避免集群资源的浪费、倾斜以及冲突。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于MPI的集群资源调度方法、装置、电子设备、系统及计算机可读介质。

背景技术

MPI（Message Passing Interface，消息传递接口）是一个基于消息传递的并行计算框架，其能够完成并行机的进程间通讯。MPI在今天仍为高性能计算的主要模型。目前MPI广泛用于互联网企业的广告算法和迭代算法，大型互联网公司通常有成百上千的MPI计算集群。

但是MPI框架本身不含有资源调配的相关功能，如果程序员不手动进行资源调度，会导致在使用集群资源时产生浪费、倾斜以及冲突的可能。

发明内容

本发明旨在解决MPI集群本身无法进行资源调度，在使用集群资源时会产生浪费、倾斜以及冲突的技术问题。

为了解决上述技术问题，本发明第一方面提出一种基于MPI的集群资源调度方法，所述方法包括：

获取集群内各计算机的资源剩余信息；

获取当前MPI任务所需资源；

根据当前任务所需资源和集群内各计算机的资源剩余信息生成基于MPI的可用资源列表；

基于MPI标准，并根据所述可用资源列表执行当前任务的资源调度。

根据本发明一种优选的实施方式，通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息。

根据本发明一种优选的实施方式，所述通过时序数据库InfluxDB获取集群内各计算机的资源剩余信息之前，所述方法还包括：

通过守护进程实时收集集群内各个计算机的资源指标，并将所述资源指标同步到InfluxDB中；

InfluxDB接收并存储所述资源指标。

根据本发明一种优选的实施方式，当接收到当前任务时，获取集群内各计算机的资源剩余信息；

或者，实时获取集群内各计算机的资源剩余信息。

根据本发明一种优选的实施方式，所述可用资源列表包括：集群内可调度的计算机地址，所述根据所述可用资源列表执行当前任务的资源调度包括：

调用mpich并将可用资源列表中可调度的计算机地址作为参数传入mpich；

mpich在所述可调度的计算机中并行执行当前任务。

根据本发明一种优选的实施方式，mpich在所述可调度的计算机中选择执行当前任务的计算机及执行当前任务对每台计算机的资源需求；

执行当前任务的计算机根据所述资源需求隔离出执行当前任务的资源，并在此资源下执行当前任务。

为了解决上述技术问题，本发明第二方面提供一种基于MPI的集群资源调度装置，所述装置包括：

第一获取模块，用于获取集群内各计算机的资源剩余信息；

第二获取模块，用于获取当前MPI任务所需资源；