[发明专利]一种任务统一调度的方法、系统及介质

说明书

本申请的目的是提供一种任务统一调度的方法、系统及介质，本申请通过将得到的计算任务提交至任务调度器，在所述任务调度器中生成待执行的任务，将所述待执行的任务提交至集群调度器；判断所述集群调度器中是否有集群存活，根据判断结果确定当前需使用的集群，将所述当前需使用的集群与所述待执行的任务进行绑定；通过绑定的当前需使用的集群将所述待执行的任务提交至对应的任务执行器；通过所述任务执行器对所述待执行的任务进行分析，根据分析结果执行所述待执行的任务，并更新任务执行结果。从而屏蔽了底层的细节复杂度，可以让使用任何技术栈的开发人员，都可以便捷的使用到大数据处理工具，同时按需启停集群，不浪费计算资源。

技术领域

本申请涉及计算机领域，尤其涉及一种任务统一调度的方法、系统及介质。

背景技术

目前各种各样大数据产品依赖重，任务调度部署困难，使用方式各式各样，不能够一键部署使用进行任务的统一调度。

又如在Hadoop生态圈中，有Azkaban这样的调度器来调度数据处理的任务，可以接收python，java代码作为任务执行逻辑，但是对于除此之外的技术栈并没有好的解决方案，可以利用到大数据的计算能力和便利性。但是一方面以Azkaban为主的这一类调度器主要是面向hadoop生态圈的技术栈，难以接入微服务架构下的业务系统，另一方面，在实际使用中主要有两点问题没有得到解决：一方面是需要搭建相应的计算集群，另一方面是对计算集群的利用率并不高，一天中只有特定几个时间点需要执行计算，其他时间段都是空置。

发明内容

本申请的一个目的是提供一种任务统一调度的方法、系统及介质，以解决现有技术中不能提供通用性的资源调度方案，对计算集群的利用率并不高以及空置时间较多的问题。

根据本申请的一个方面，提供了一种任务统一调度的方法，该方法包括：

将得到的计算任务提交至任务调度器，在所述任务调度器中生成待执行的任务，将所述待执行的任务提交至集群调度器；

判断所述集群调度器中是否有集群存活，根据判断结果确定当前需使用的集群，将所述当前需使用的集群与所述待执行的任务进行绑定；

通过绑定的当前需使用的集群将所述待执行的任务提交至对应的任务执行器；

通过所述任务执行器对所述待执行的任务进行分析，根据分析结果执行所述待执行的任务，并更新任务执行结果。

可选地，在所述任务调度器中生成待执行的任务，包括：

在所述任务调度器中将所述计算任务的信息进行保存，根据所述计算任务的信息生成内部的待执行的任务，其中，所述计算任务的信息包括执行内容以及请求的参数。

可选地，根据判断结果确定当前需使用的集群，包括：

当所述集群调度器中存有存活的集群时，则确定执行所述待执行的任务的活跃集群，将所述活跃集群作为当前需使用的集群；

当所述集群调度器中未存有存活的集群时，调用集群服务创建相应的集群，将创建的集群作为当前需使用的集群。

可选地，通过所述任务执行器对所述待执行的任务进行分析，包括：

通过所述任务执行器分析所述待执行的任务所属任务类型；

根据所述所属任务类型确定执行时的所需信息，得到分析结果。

可选地，根据分析结果执行所述待执行的任务，包括：

根据分析结果与所述当前需使用的集群进行通讯，获取所述当前需使用的集群对所述待执行的任务的允许负载，根据所述允许负载判断是否执行所述待执行的任务。

可选地，所述方法包括：