[发明专利]分布式任务调度系统及方法

说明书

本发明提供了一种分布式任务调度系统及方法，可用于分布式技术领域，该系统包括：第一配置模块，用于将金融数据分析任务分解为多个子分析任务，配置每个子分析任务的执行单元的接口信息、参数信息；其中，每个子分析任务的执行单元是通过选定的编程语言来实现的；任务发布模块，用于将金融数据分析任务发布到待处理任务队列；调度模块，用于在监听到所述待处理任务队列有新的金融数据分析任务后，判断所述金融数据分析任务是否立即执行，若是，根据每个子分析任务的执行单元的接口信息，获得每个子分析任务的执行单元；执行模块，用于并行启动各执行单元，获得各执行单元的执行结果。本发明可以针对金融数据分析任务实现分布式调度，执行效率高。

技术领域

本发明涉及分布式技术领域，尤其涉及一种分布式任务调度系统及方法。

背景技术

目前，金融市场业务日渐活跃，相关业务系统中涉及分析金融数据分析任务的场景越来越多。因此，需要对这些分析任务大量执行。现有技术一般是通过批量作业系统的调度，对一系列分析任务按照设定好的驱动关系调度批量作业系统中的各作业以实现数据的提取、转换和加载过程。但是由于没有充分考虑各分析任务的特点，并不能针对性提高分析任务的执行效率。

发明内容

本发明实施例提出一种分布式任务调度系统，用以针对金融数据分析任务实现分布式调度，执行效率高，该系统包括：

第一配置模块，用于将金融数据分析任务分解为多个子分析任务，配置每个子分析任务的执行单元的接口信息、参数信息；其中，每个子分析任务的执行单元是通过选定的编程语言来实现的，所述编程语言满足所述子分析任务的计算需求；

任务发布模块，用于将金融数据分析任务发布到待处理任务队列；

调度模块，用于在监听到所述待处理任务队列有新的金融数据分析任务后，根据当前系统资源判断所述金融数据分析任务是否立即执行，若是，根据每个子分析任务的执行单元的接口信息，查询服务注册中心，获得每个子分析任务的执行单元；

执行模块，用于基于执行单元的参数信息，获得各执行单元的执行结果；根据各执行单元的执行结果分析金融数据分析任务的执行结果。

本发明实施例提出一种分布式任务调度方法，用以针对金融数据分析任务实现分布式调度，执行效率高，该方法包括：

将金融数据分析任务分解为多个子分析任务，配置每个子分析任务的执行单元的接口信息、参数信息；其中，每个子分析任务的执行单元是通过选定的编程语言来实现的，所述编程语言满足所述子分析任务的计算需求；

将金融数据分析任务发布到待处理任务队列；

在监听到所述待处理任务队列有新的金融数据分析任务后，根据当前系统资源判断所述金融数据分析任务是否立即执行，若是，根据每个子分析任务的执行单元的接口信息，查询服务注册中心，获得每个子分析任务的执行单元；

基于执行单元的参数信息，并行启动各执行单元，获得各执行单元的执行结果；

根据各执行单元的执行结果分析金融数据分析任务的执行结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式任务调度方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式任务调度方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述分布式任务调度方法。