[发明专利]一种任务调度方法和装置

说明书

本申请公开了一种任务调度方法和装置，该方法包括以下步骤：根据任务之间的依赖关系，将所有需要执行的任务汇总成任务结构树，所述任务结构树为基于任务关系的有向无环图，每个任务对应所述任务结构树的一个任务节点；根据每个任务对应的任务实例，将所述任务结构树转换为实例结构树，所述实例结构树用于对任务实例之间的关系进行逻辑关联，每个任务实例对应所述实例结构树的一个实例节点；基于所述实例结构树，执行各个任务实例。本申请实施例通过述任务结构树和实例结构树执行任务实例，能够配置任务之间的依赖关系，避免系统资源的浪费，并充分满足数据分析业务的复杂性和灵活性。

技术领域

本申请属于数据分析技术领域，具体涉及一种任务调度方法和装置。

背景技术

随着数据分析业务的发展，数据规模越来越大，分析的维度也逐渐的丰富，日报、周报、年报等各种报表不断涌现，在不同的商业维度为商业决策提供数据支持。然而，以OLAP(OnLine Analysis Processing，联机分析处理)为主的线上分析并不能很好的满足这类周期性的分析业务，此类业务还是以定时批处理的形式为主。

市面上有很多定时任务管理的工具技术和平台技术，能够让使用者通过配置来对任务设定运行时间和周期，实现让任务按照某种时间规律定时执行的目的。但是，大多数的数据分析业务并不是通过一个任务就能够完成的，而是需要多个步骤连环处理，比如数据清洗，数据联合，数据统计等等，这中间还可能出现循环处理的情况，数据统计之后再数据联合。因此，很难使用传统的任务管理技术准确地管理这类业务，一旦某个前置任务执行超过了预计的时间，后续的任务运行都会出错，这就完全失去了自动化处理的意义。但如果为前置任务留出充足的时间，又会造成明显的计算资源的浪费，前置任务早早跑完，但是系统只能空闲等待，直到后续任务的执行时间到。

申请内容

本申请实施例的目的是提供一种任务调度方法和装置，以解决现有技术无法准确管理任务的缺陷。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提供了一种任务调度方法，包括以下步骤：

根据任务之间的依赖关系，将所有需要执行的任务汇总成任务结构树，所述任务结构树为基于任务关系的有向无环图，每个任务对应所述任务结构树的一个任务节点；

根据每个任务对应的任务实例，将所述任务结构树转换为实例结构树，所述实例结构树用于对任务实例之间的关系进行逻辑关联，每个任务实例对应所述实例结构树的一个实例节点；

基于所述实例结构树，执行各个任务实例。

第二方面，提供了一种任务调度装置，包括：

汇总模块，用于根据任务之间的依赖关系，将所有需要执行的任务汇总成任务结构树，所述任务结构树为基于任务关系的有向无环图，每个任务对应所述任务结构树的一个任务节点；

转换模块，用于根据每个任务对应的任务实例，将所述任务结构树转换为实例结构树，所述实例结构树用于对任务实例之间的关系进行逻辑关联，每个任务实例对应所述实例结构树的一个实例节点；

执行模块，用于基于所述实例结构树，执行各个任务实例。

本申请实施例通过述任务结构树和实例结构树执行任务实例，能够配置任务之间的依赖关系，避免系统资源的浪费，并充分满足数据分析业务的复杂性和灵活性。

附图说明

图1是本申请实施例提供的一种任务调度方法流程图；

图2是本申请实施例提供的任务调度方法的一种具体实现图；

图3是本申请实施例提供的一种任务调度装置的结构示意图。

具体实施方式