[发明专利]并行任务优化系统和方法有效
申请号: | 201510015287.X | 申请日: | 2015-01-12 |
公开(公告)号: | CN104615487B | 公开(公告)日: | 2019-03-08 |
发明(设计)人: | 王珏;黄越辉;邓笋根;高云峰;周纯葆;刘德伟 | 申请(专利权)人: | 中国科学院计算机网络信息中心;中国电力科学研究院 |
主分类号: | G06F9/46 | 分类号: | G06F9/46;G06F9/48 |
代理公司: | 北京亿腾知识产权代理事务所 11309 | 代理人: | 陈霁 |
地址: | 100190 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 并行 任务 优化 系统 方法 | ||
1.一种并行任务优化系统,其特征在于,所述系统包括:任务提交终端、调度服务器和多个计算节点;所述调度服务器和多个所述任务提交终端通过第一网络环境互连,所述调度服务器和所述多个计算节点通过第二网络环境互连;所述多个计算节点运行有虚拟机,该虚拟机上运行有单处理器程序;
所述任务提交终端在第一网络环境下通过第一命令行向所述调度服务器上载任务文件;所述调度服务器对所述第一命令行和所述任务文件进行解析,并且在第二网络环境下,根据解析后的第一命令行和任务文件,将所述解析后的任务文件调度到所述多个计算节点之一,其中,解析后的任务文件包括数据参数;所述单处理器程序用以启动计算程序;根据数据参数,导入与所述数据参数相对应的算例;根据所述算例执行计算程序,得到计算结果;通过所述调度服务器将所述计算结果返回到所述任务提交终端;其中,所述调度服务器实时从进行计算的计算节点中获取作业的执行状态;所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态,所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态;
所述调度服务器包括第一进程、第二进程和第三进程;
在预设的时间间隔内,所述第一进程将任务处理队列中的所述任务文件发送给第二进程;
根据所述第一命令行和所述任务文件,所述第二进程,调度决策可利用的所述多个计算节点之一执行任务计算,并将调度决策结果返回给所述第一进程;
当所述第一进程接收到所述调度决策结果后,根据所述调度决策结果,所述第一进程将所述解析后的任务文件调度到相应的计算节点;
当所述第一进程接收到所述调度决策结果,并向计算节点调度所述任务文件时,所述第三进程创建所述任务文件的子进程和调度执行环境,并通过远程调度执行服务器开始调度分配;
所述调度服务器采用IBM Platform LSF作业调度平台,所述单处理器程序采用DIgSILENT软件进行计算。
2.根据权利要求1所述的系统,其特征在于,所述调度服务器包括任务处理队列,所述任务处理队列用以存储所述任务提交终端通过第一命令行上载的所述任务文件;所述任务处理队列预设第一阈值;当所述任务处理队列中存储所述任务文件的数量达到所述第一阈值时,所述任务处理队列向所述任务提交终端发送禁止上载任务文件信息。
3.一种并行任务优化方法,应用于如权利要求1所述系统,其特征在于,所述方法包括:
任务提交终端在第一网络环境下通过第一命令行向调度服务器上载任务文件;
所述调度服务器对所述第一命令行和所述任务文件进行解析,并且在第二网络环境下,根据解析后的第一命令行和任务文件,将所述解析后的任务文件调度到所述多个计算节点之一,其中,解析后的任务文件包括数据参数,所述多个计算节点运行有虚拟机,该虚拟机上运行有单处理器程序;
启动计算程序;根据数据参数,导入与所述数据参数相对应的算例;根据所述算例执行计算程序,得到计算结果;通过所述调度服务器将所述结果返回到所述任务提交模块;
其中,所述调度服务器实时从进行计算的计算节点中获取所述作业的执行状态;所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态,所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态;
所述调度服务器包括第一进程、第二进程和第三进程;
在预设的时间间隔内,所述第一进程将任务处理队列中的所述任务文件发送给第二进程;
所述第二进程根据所述第一命令行和所述任务文件,调度决策可利用的所述多个计算节点之一执行任务计算,并将调度决策结果返回给所述第一进程;
当在所述第一进程接收到所述调度决策结果后,并向计算节点发送所述任务文件时,所述第三进程创建所述任务文件的子进程和调度执行环境,并通过远程调度执行服务器开始调度分配。
4.根据权利要求3所述的方法,其特征在于,所述调度服务器包括任务处理队列,所述任务处理队列用以存储所述任务提交终端通过第一命令行上载的所述任务文件;所述任务处理队列预设第一阈值;当所述任务处理队列中存储所述任务文件的数量达到所述第一阈值时,所述任务处理队列向所述任务提交终端发送禁止上载任务文件信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算机网络信息中心;中国电力科学研究院,未经中国科学院计算机网络信息中心;中国电力科学研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510015287.X/1.html,转载请声明来源钻瓜专利网。