[发明专利]一种基于异构集群的作业调度系统及方法

说明书

技术领域

本发明特别涉及一种基于异构集群的作业调度系统及方法。

背景技术

全球高性能计算TOP500的统计，有90%以上采用的是基于X86架构搭建的集群系统。不过随着高性能计算技术的发展和应用的不断扩大，目前占据市场主流的高性能集群系统在某些高性能计算领域的应用将面临CPU+GPU的强劲挑战。

CPU+GPU异构集群由于硬件产品成熟、实现多元，适用于计算密集型应用，需要细粒度并行算法，能极大提升应用性能。随着图形处理器（GPU）作为一种通用的计算单元出现，越来越多的高性能计算（HPC）用户正在向基于GPU的群集迁移，来运行其科学和工程应用。这种模式允许用户在一个异质计算模型中同时使用CPU和GPU，其中，应用的连续部分在CPU上运行，而计算密集的部分在GPU上运行。通过挖掘GPU的大规模并行能力、用户运行应用程序的速度和传统的基于CPU的模式相比，几乎可以提高40%。

对于在大型异构集群环境中的作业调度，目前业界还没有成熟的参考模型。本发明将针对基于高性能异构计算集群提出一种可实现的作业调度方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种能够有效降低用户成本的基于异构集群的作业调度系统及方法。

本发明是通过如下技术方案实现的：

一种基于异构集群的作业调度系统，其特征在于：包括2台作业调度服务器、n台CPU计算节点服务器、n台GPU计算节点服务器和共享存储设备；采用以太网做集群管理网络，使用infiniband高速网络做计算网络，操作系统采用Redhat linux。

所述作业调度服务器采用开源PBS作业调度软件（openpbs、torque等）。

所述开源PBS作业调度软件采用openpbs或者torque。

本发明基于异构集群的作业调度方法，其特征在于包括以下步骤：

第一步：建立CPU和GPU计算队列，对应后端计算节点服务器进行计算资源的分配；

第二步：结合用户需求，分别建立计算用户，用户计算目录对应到后端共享存储；

第三步：在用户需要进行CPU计算资源时，对CPU资源进行划分，单节点CPU依据核心数量进行资源分配，保证CPU计算节点利用率达到100%；

第四步：在GPU节点上安装CUDA和OpenMPI环境，指定标准环境变量；

第五步：建立异构作业标准PBS模板，可以手动指定CPU和GPU计算资源需求数量；

第六步：异构作业需求用户可以自己编写CUDA程序，编译完成后，使用参考PBS脚本选择计算资源，并将作业提交到GPU队列计算资源池；

第七步：GPU作业同时使用CPU和GPU计算资源进行计算，运行完成后，计算结果输出的共享存储目录。

本发明的有益效果是：该基于异构集群的作业调度系统及方法，通过异构作业调度，实现了异构计算资源的充分利用，并在原有基础上，计算能力提高了40%，从而进一步保证HPC集群的稳定运行和计算资源的可用性。

附图说明

下面结合附图对本发明作进一步的说明。

附图1为本发明结构示意图。

附图2为本发明方法示意图。

具体实施方式

附图为本发明的一种具体实施例。该基于异构集群的作业调度系统，包括2台作业调度服务器、n台CPU计算节点服务器、n台GPU计算节点服务器和共享存储设备；采用以太网做集群管理网络，使用infiniband高速网络做计算网络，操作系统采用Redhat linux。

所述作业调度服务器采用开源PBS作业调度软件（openpbs、torque等）。

所述开源PBS作业调度软件采用openpbs或者torque。

本发明基于异构集群的作业调度方法，其特征在于包括以下步骤：

第一步：建立CPU和GPU计算队列，对应后端计算节点服务器进行计算资源的分配；

第二步：结合用户需求，分别建立计算用户，用户计算目录对应到后端共享存储；

第三步：在用户需要进行CPU计算资源时，对CPU资源进行划分，单节点CPU依据核心数量进行资源分配，保证CPU计算节点利用率达到100%；

第四步：在GPU节点上安装CUDA和OpenMPI环境，指定标准环境变量；

第五步：建立异构作业标准PBS模板，可以手动指定CPU和GPU计算资源需求数量；