[发明专利]一种面向高性能计算的存储服务资源管理方法

说明书

本发明公开一种面向高性能计算的存储服务资源管理方法，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将查询任务指派到指定的CE节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的CE节点；所述CE节点层，用于在CE节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在CE节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，执行具体的调度任务；所述运算节点层为存储服务资源的使用层。本发明解决了存储服务资源和计算节点快速查询和调度的问题，快速高效，可扩展性、通用性强。

技术领域

本发明涉及一种面向高性能计算的存储服务资源管理方法，属于高性能计算领域。

背景技术

在高性能计算领域，随着高性能计算机的计算性能的不断提升，存储规模也在不断扩大。目前，计算性能主要通过计算资源的不断扩展来提升，而存储系统则是采用运算节点-转发节点-全局存储的三层转发架构，通过增加转发节点的数量来效缓解底层分布式存储的压力，实现存储规模的扩展。

在P级高性能计算机中，运算节点的数量已达到数万个，转发节点的数量也达到数百个，而在某些高性能计算平台中，运算节点与转发节点之间是以一种静态映射的方式形成固定的服务关系。在以下两种场景中，上述固定映射关系的弊端尤为突出：一是在转发节点故障时，其对应的运算节点文件系统将无法使用，为了保证计算资源不浪费，必须使用其他的转发节点来代替，但是重新映射可操作性差，而且已有的映射关系发生变化，会导致映射关系混乱，管理难度成倍增加；二是为了临时提升用户应用程序的I/O性能，一种最直接的方法就是为用户队列内的运算节点分配更多的存储服务资源，然而运算节点和存储服务资源之间重新建立映射关系实施起来比较困难。

在超大规模环境下，尚没有一种高效的映射查询方法，而存储服务资源调度则是以单进程方式逐一进行修改映射关系，执行效率很低。

发明内容

本发明的目的是提供一种面向高性能计算的存储服务资源管理方法，以解决高性能计算平台中计算节点与存储服务资源之间的映射关系查询与存储服务资源调度的问题。

为达到上述目的，本发明采用的技术方案是：提供一种面向高性能计算的存储服务资源管理方法，基于由管理节点层、CE节点层和运算节点层构成的分层管理结构，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；

所述管理节点，用于将待查询的运算节点分组和查询结果的格式化处理，还用于将查询任务指派到指定的CE节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的CE节点；

所述CE节点层，用于在CE节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在CE节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，还用于在CE节点上以多进程的方式登录到计算节点，执行具体的调度任务；

所述运算节点层为存储服务资源的使用层；

所述运算节点到存储服务资源映射查询包括以下步骤：

S11、在管理节点对待查询的运算节点按照均匀分配原则分组，然后将分配好的计算节点分别派送给指定的CE节点；

S12、CE节点从管理节点处获得待查询的计算节点，CE节点立即向指派的运算节点发送查询任务；

S13、CE节点收到运算节点发回的查询结果，并反馈给管理节点；

S14、管理节点对查询结果格式化处理并输出，从而完成运算节点存储服务资源的查询任务；

所述存储服务资源到运算节点的映射查询包括以下步骤：

S21、管理节点向CE节点发出查询指令后，在多个CE节点上并发登陆到转发节点；

S22、在转发节点上，通过netstat命令获取已建立的TCP连接；

S23、根据管理节点的查询指令中指定的端口号过滤对应存储服务资源的运算节点的IP地址和端口号；