[发明专利]一种分布式批量调度

说明书

本发明涉及软件系统架构技术领域，公开了一种分布式批量调度，包括批量调度处理系统、批量调度数据存储装置、服务注册中心、批量调度管控系统、元服务中心、统一管控中心和统一管控中心数据存储装置，还包括以下步骤：所述批量调度处理系统用于处理任务的实施调度；所述批量调度数据存储装置用于存储批量调度处理任务相关持久化数据；所述服务注册中心用于提供服务注册功能，通过该设计可以节省成本，采用分布式部署架构，降低了对硬件的整体要求，节省运维成本，由于只需要一套统一管控中心，实现了分散化部署，集中化维护的特点，高扩展性，性能可以随着批量调度装备的增加而呈现线性增长。

技术领域

本发明涉及软件系统架构技术领域，具体是一种分布式批量调度。

背景技术

批处理是企业级业务系统不可或缺的一部分，用于开发企业信息系统中那些至关重要的数据批量处理业务，批量调度平台是指有一个调度平台将各系统的批量任务进行统一编排，统一预处理，统一定时调度或者人工调度，通过远程系统调度等实现对批量作业的统一治理，分布式批量调度平台是指批量调度平台采用了分布式架构，体现高可扩展性，突出了高内聚，低耦合的架构。

但是现有的Spring Batch只是单纯提供了一套批作业的开发框架，并没有考虑到部署架构，以及运维成本；Quartz也是单纯提供了一套定时调度的开发框架；Control-M则成本太高，也不是分布式架构，集中式部署，扩展性不强。因此，本领域技术人员提供了一种分布式批量调度，以解决上述背景技术中提出的问题。

发明内容

本发明的目的在于提供一种分布式批量调度，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种分布式批量调度，包括批量调度处理系统、批量调度数据存储装置、服务注册中心、批量调度管控系统、元服务中心、统一管控中心和统一管控中心数据存储装置，还包括以下步骤：

所述批量调度处理系统用于处理任务的实施调度；所述批量调度数据存储装置用于存储批量调度处理任务相关持久化数据；所述服务注册中心用于提供服务注册功能；所述批量调度管控系统用于对用户批量调度的相关定义以及管控；所述元服务中心用于为统一管控中心提供查询相关的调度服务；所述统一管控中心用于将接收到的相关数据持久化到统一管控中心数据存储装置等；所述统一管控中心数据存储装置用于存储统一管控中心的相关数据。 其中批量调度处理系统包括资源接收模块、资源判断模块、资源查询模块、资源处理模块以及资源调度模块，所述资源接收模块用于接收由统一管控中心处发出的任务信息；所述资源判断模块用于判断所述申请任务是否满足预置过滤条件，如果不满足，则立即终止，如果满足，则执行下一步骤；所述资源查询模块用于在数据库中查询该任务的执行状态，若正在执行中，则等待上一任务的处理结果，若没有，则执行下一步骤；所述资源处理模块用于将任务按照所需要的资源按从大到小的顺序进行排序，并将任务节点上的资源占用率按照从小到大的顺序进行排序，最后将排序后的任务分别分配在排序后的各个任务节点上；所述资源调度模块用于根据任务所需要的资源及任务节点的资源占用率来进行任务调度。

作为本发明再进一步的方案：所述批量调度处理系统包括但不限于：手工任务调度，定时任务调度，任务异常处理，调度引擎，作业动态分片，任务并发调用，将功能封装到服务注册中心，将相关数据持久化批量调度数据存储装置等。

作为本发明再进一步的方案：所述批量调度数据存储装置持久化的相关内容包括但不限于：作业定义数据，任务定义数据，作业编排数据，任务编排数据，作业运行数据，任务运行数据，异常情况数据等。

作为本发明再进一步的方案：所述批量调度管控系统包括但不限于：参数管理，作业定义，作业编制成任务，任务定义，任务编排，远程调用节点管理，分布式服务调用管理，将功能封装到服务注册中心，将相关数据持久化批量调度数据存储装置等。