[发明专利]并行任务优化系统和方法

摘要

本发明涉及一种并行任务优化系统和方法，系统包括：调度服务器和多个任务提交终端通过第一网络环境互连，调度服务器和多个计算节点通过第二网络环境互连；多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序；任务提交终端在第一网络环境下通过第一命令行向调度服务器上载任务文件；调度服务器根据第一命令行和任务文件，在第二网络环境下，将任务文件调度到多个计算节点之一，任务文件包括数据参数；单处理器程序根据数据参数进行处理得到计算结果；通过调度服务器将结果返回到任务提交终端。因此，本发明通过调度服务器对任务的并行处理，以及根据数据参数，在多个计算节点运行相应计算，实现了大量并行任务的快速计算，降低了计算耗时。

主权项

1.一种并行任务优化系统，其特征在于，所述系统包括：任务提交终端、调度服务器和多个计算节点；所述调度服务器和多个所述任务提交终端通过第一网络环境互连，所述调度服务器和所述多个计算节点通过第二网络环境互连；所述多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序；所述任务提交终端在第一网络环境下通过第一命令行向所述调度服务器上载任务文件；所述调度服务器对所述第一命令行和所述任务文件进行解析，并且在第二网络环境下，根据解析后的第一命令行和任务文件，将所述解析后的任务文件调度到所述多个计算节点之一，其中，解析后的任务文件包括数据参数；所述单处理器程序用以启动计算程序；根据数据参数，导入与所述数据参数相对应的算例；根据所述算例执行计算程序，得到计算结果；通过所述调度服务器将所述计算结果返回到所述任务提交终端；其中，所述调度服务器实时从进行计算的计算节点中获取作业的执行状态；所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态，所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态；所述调度服务器包括第一进程、第二进程和第三进程；在预设的时间间隔内，所述第一进程将任务处理队列中的所述任务文件发送给第二进程；根据所述第一命令行和所述任务文件，所述第二进程，调度决策可利用的所述多个计算节点之一执行任务计算，并将调度决策结果返回给所述第一进程；当所述第一进程接收到所述调度决策结果后，根据所述调度决策结果，所述第一进程将所述解析后的任务文件调度到相应的计算节点；当所述第一进程接收到所述调度决策结果，并向计算节点调度所述任务文件时，所述第三进程创建所述任务文件的子进程和调度执行环境，并通过远程调度执行服务器开始调度分配；所述调度服务器采用IBM Platform LSF作业调度平台，所述单处理器程序采用DIgSILENT软件进行计算。