[发明专利]基于web界面的HPC机群管理系统

说明书

技术领域

本发明涉及HPC机群管理系统技术领域，尤其涉及一种基于web界面的HPC机群管理系统。

背景技术

随着社会发展，数据的存储和计算对服务器资源的需要越来越高，目前许多国家都在各地建立了许多HPC超算中心。例如美国圣地亚哥超算中心（SDSC），在国内，有中科院超算中心，天津、深圳等诸多国家超级计算中心，以及各地区建立的超算中心。超算中心的日常运行和维护需要专门的系统和专业管理人员来实现，例如作业提交、用户管理、日志查看等等。目前已经有了许多开源或商业的集群管理软件为超算中心或中小机群提供解决方案，例如开源的rocks集群管理软件，商业的集群管理软件如rocks+、Platform Cluster Manager等等。这些集群管理软件都是在现有的OS基础上，集成一些软件包，实现基于图形和文本的管理界面，最终通过一台管理节点来控制其它的计算节点，使用效果虽然很好，但是如果管理节点一旦宕机，必须重新安装所有节点来恢复集群系统。这种恢复方式是比较费时而且可能到时数据丢失的严重后果。

发明内容

基于背景技术存在的技术问题，本发明提出了基于web界面的HPC机群管理系统。

本发明提出了基于web界面的HPC机群管理系统，包括主控主机、管理主机、执行主机和提交主机，所述主控主机上设有主守护进程和调度程序守护进程，且主守护进程通过导线分别与调度程序守护进程和主控主机相连接，所述主守护进程通过导线连接有执行主机、数据库、管理主机、Grid Engine系统组件和QSUB客户端，所述Grid Engine系统组件和QSUB客户端均位于提交主机上，且Grid Engine系统组件和QSUB客户端均通过导线和提交主机相连接，所述Grid Engine系统组件通过导线分别与调度程序守护进程和管理主机相连接，所述执行主机上设有执行守护进程，且执行守护进程通过导线和执行主机相连接，所述执行守护进程通过导线连接有第一shepherd进程和第二shepherd进程，所述第一shepherd进程通过导线连接有第一作业，且第二shepherd进程通过导线连接有第二作业。

执行主机通过执行主机上的执行守护进程向主控主机上的主守护进程报告的执行主机负载信息，用户提交主机上的QSUB客户端向主控主机上的主守护进程提交作业，主控主机上的主守护进程把收集到的系统负载信息和新出现的作业的情况发送给主控主机上的调度程序守护进程上，调度程序守护进程通过一定的作业调度策略、利用系统各方面的信息，把收到的作业映射到合适的执行守护进程上，为此将生成的命令表返回给主守护进程，主守护进程把作业传送给调度程序守护进程指定的目的执行主机上的执行守护进程上，执行守护进程为作业创建一个shepherd，由这个shepherd负责管理和控制作业的执行，当作业执行结束，执行守护进程要向主守护进程报告作业执行的情况，主守护进程在数据库中记录作业的资源使用情况，Grid Engine系统组件时刻监视着主守护进程，预防主守护进程崩溃。

优选地，所述主控主机用于运行主守护进程和调度程序守护进程，且运行主守护进程和调度程序守护进程均对Grid Engine系统组件进行控制。

优选地，所述执行主机用于运行执行守护进程。

优选地，所述管理主机用于运行 Grid Engine系统组件的管理操作，且管理主机用于监控主守护进程。

优选地，所述QSUB客户端用于向主控主机的主守护进程提交作业。

优选地，所述执行守护进程用于为第一作业建立第一shepherd进程，且执行守护进程用于为第二作业建立第二shepherd进程。

本发明的有益效果：

1、通过主控主机，可以分别对主守护进程和调度程序守护进程进行运行，且运行主守护进程和调度程序守护进程可以对Grid Engine系统组件进行控制，进而主控主机可以对Grid Engine系统组件进行控制；

2、通过执行主机和执行主机上的执行守护进程，执行主机使得执行守护进程进行运行，且执行主机上的执行守护进程可以为第一作业建立第一shepherd进程，或者执行守护进程可以为第二作业建立第二shepherd进程；

3、通过管理主机，可以对Grid Engine系统组件的管理操作进行运行，且可以对主守护进程进行监控；

4、通过提交主机上的QSUB客户端，可以向主控主机的主守护进程提交作业；