[发明专利]一种基于云计算的高性能计算调度框架

摘要

本发明公开了一种基于云计算的高性能计算调度框架，涉及云计算分析领域，包括任务提交节点、Master计算节点、任务队列模块、Slave节点和云计算平台；所述任务提交节点中包括任务提交模块、状态获取API模块、状态获取进程模块；所述Master计算节点中包括状态获取主进程模块和任务调度分配器模块；所述Slave节点中包括任务接受模块、任务启动模块、任务执行模块和状态监控模块；本发明通过云计算提供计算资源节点并基于云计算的高性能计算调度框架，可以高效的分配计算资源，高效的调度任务，可对所调度的计算节点进行监控，根据任务量大小新增或释放节点，稳定高效地完成任务且不浪费云平台中的资源。

主权项

一种基于云计算的高性能计算调度框架，其特征在于,包括任务提交节点、Master计算节点、任务队列模块、Slave节点和云计算平台；所述任务提交节点中包括任务提交模块、状态获取API模块、状态获取进程模块；所述Master计算节点中包括状态获取主进程模块和任务调度分配器模块；所述Slave节点中包括任务接受模块、任务启动模块、任务执行模块和状态监控模块；基于云计算的高性能计算调度框架启动时，通过云计算平台提供计算节点资源；在运行过程中，云计算平台实时监控高性能计算调度框架的中任务队列模块的任务队列状态，依据等待在任务队列中的任务数量与最大的空闲节点数量进行调度，以此准备或者回收Slave节点；高性能计算调度框架中，待运算的任务通过所述任务提交模块提交给任务调度分配器模块，所述任务调度分配器模块将任务放入相应的任务队列模块中，所述任务调度分配器模块实时的从状态获取主进程模块中获取整个集群的负载状况，并将任务通过任务队列模块传输给Slave节点去执行，所述Slave节点中的任务接受模块接收到任务后通过任务启动模块启动任务，再由任务执行模块执行操作，执行过程中通过状态监控模块进行状态监控，并将所得的信息传送给状态获取进程模块，所述任务提交模块将正在执行的任务进度与状态等信息通过状态获取API模块传送给状态获取进程模块，所述状态获取进程模块将所得的信息传送给状态获取主进程模块作为任务调度的依据，所述状态获取主进程模块中存放了整个集群节点的性能信息和所有任务执行状态的监控信息。