[发明专利]一种构建slurm调度并行计算集群的方法

说明书

本发明涉及一种构建slurm调度并行计算集群的方法。计算集群的构建方法如下：步骤一：硬件准备；需要两台或者两台以上的计算设备，上限取决于交换机端口数，需要给每台机器安装完毕系统，正确连接交换机；步骤二：开机后，按照实际要求，修改hostname并设定实际的IP址并记录网络信息；步骤三：选取其中一个为master主机，master节点两网卡，其中一个接入集群专属交换机，另外一个负载用户登录；步骤四：组网成功即并行计算集群组建成功，无需任何Linux操作技能。只需录入一次机器网络地址。依照操作手册。运行hpc4youtoolkit各模块。复制粘贴屏幕提示指令即可完成科学计算集群组建。集群模式，可以有效提高现有硬件资源的利用效率。降低硬件成本。简化科学计算实施流程。

技术领域

本发明涉及一种科学计算领域高性能并行计算集群。具体是一种构建slurm调度并行计算集群的方法。

背景技术

高性能计算(High Performance Computing。HPC)是改造世界的第三大科学研究方法。是大规模科学计算和工程计算的必备基础设施。是科技创新的重要手段。在信息服务、工业仿真、科学研究、生物信息、基因测序、石油勘探、航天航空等众多领域发挥着不可替代的作用。是研究和解决各领域挑战性问题的重要手段。已上升为国家战略。是国家综合国力和科技创新力的重要标志。也是世界大国投入巨资争夺科学技术制高点的领域之一。截止2021年底，科技部批准建立的国家超级计算中心共有9家，分别是国家超级计算天津中心、国家超级计算广州中心、国家超级计算深圳中心、国家超级计算长沙中心、国家超级计算济南中心、国家超级计算无锡中心、国家超级计算郑州中心、国家超级计算昆山中心、国家超级计算成都中心。

在国家级超算中心稳步发展的同时，随着硬件成本的进一步下探和通用计算机设备运算能力进一步提升，考虑到不同研究领域计算场景的特殊性，越来越多的研究所、高校科研团队、课题组，开始自购或者自建小规模并行计算集群，以满足研究之需。

当前，很多高性能计算集群都采用Linux操作系统。其运维工作比较繁琐，尤其对刚入门者非常困难。自己搭建计算集群，至少涉及到如下层面：仅root用户密钥鉴权认证，至少在master机器需要编辑openssh配置文件5次，而后在任何一台计算节点，修改密钥和配置文件一次，并回传各计算节点公钥到master机器并完成合并。指令版vi编辑器都不会用的微软用户，是难以完成指令模式下Linux系统配置文件修改的。更别说在Linux机器下载登录所有计算节点，完成其他Linux机器的修改配置，并把配置文件，从master机器在指令模式分发到其他Linux机器。况且openssh属于系统核心配置文件，修改错误，意味着无法登录计算服务器，新手可能选择再次重新安装系统，浪费时间，也有极大可能刷掉重要数据。配置用户信息鉴权系统，NIS,又涉及域名、可信域等信息系统概念，更涉及到另一套密钥对的配置和分发。当然还有更麻烦的，DHCP服务器以及客户端，涉及TCP/IP网络知识和实际操作技能，子网掩码计算、网关设定；亦需要针对每一个计算节点做合理的配置，使得DHCP客户端可以顺利工作；文件服务器以及网络共享系统配置及其优化；slurm所依赖的munge鉴权系统调优设定，涉及随机数以及另外一种密钥对设定和后续的密钥分发；Linux工作站文件权限、用户群组管理，需Linux系统员操作技能；多Linux机器远程指令操控等等Linux平台运维技能。

对于绝大多数科技工作者，电脑技能仅仅局限于熟悉Word、PowerPoint、Excel、PhotoShop等办公套件，Linux图形桌面都不会用，更何谈在Linux平台完成如上各种复杂的运维操作呢？

现有商业解决方案，价格昂贵，高校科研课题组无法承担。开源免费方案比如OpenHPC,Rocks Cluster,或者IBM的xCat方案，使用手册由计算机专业人士编撰。由于手册过于专业，没有一定的Linux运维经验和计算机知识，这种手册使用起来如同天书。

发明内容