[发明专利]一种任务调度方法、装置及存储介质

说明书

本说明书实施例提供一种任务调度方法、装置及存储介质，可以应用于大数据处理技术领域。包括：获取具有依赖关系的多个自定义任务；所述自定义任务为用户部署的任务；所述自定义任务包括执行任务的脚本内容；对所述脚本内容进行解析，得到各个自定义任务依赖的上游任务；所述上游任务为系统任务；对各个自定义任务依赖的上游任务进行处理，解除所述多个自定义任务中的下游自定义任务与目标上游任务的依赖关系；在处理成功的情况下，根据处理后的各个自定义任务依赖的上游任务对所述多个自定义任务进行调度，从而提高任务调度的效率。

技术领域

本说明书实施例涉及大数据处理技术领域，特别涉及一种任务调度方法、装置及存储介质。

背景技术

随着社会高速发展，数据越来越多，利用数据却越来越困难。大数据平台以数据仓库、数据湖或其它数据源为基础，通过ETL调度系统将这些异构分散的数据进行加工处理，形成有用的有价值的数据或知识，为用户或经营管理人员进行分析决策提供支撑。

为便于用户或经营管理人员使用大数据平台进行快速分析和决策，大数据平台支持分析师部署自定义任务，并通过任务解析模块自动判断出所依赖的上游任务(数据仓库、数据湖或其它数据源的原始加工处理任务)。ETL调度系统支持在相应上游任务的对应批次处理完毕后即时触发分析师部署的自定义任务，赋能快速分析和决策。同时，大数据平台支持分析师为自定义配置任务制定执行先后依赖关系，为复杂的加工处理流程提供支撑。

ETL调度按照功能复杂度可分为简单定时调度和工作流调度两种：

1、定时调度对ETL任务在每个周期按某个固定时间重复运行，如在每月的第一天凌晨3点进行上月的数据统计和汇总。定时调度无法处理多个ETL任务间具有依赖关系的情形。

2、工作流调度则在ETL任务间建立依赖关系，并严格按照既定的依赖关系逐个执行ETL任务。如此，即可支持将复杂的数据处理流程拆分成多个ETL任务分步完成。工作流调度更适合数据量庞大、处理逻辑复杂的情况。

定时调度无法满足复杂加工处理流程的需求，故目前的ETL调度系统普通采用工作流调度。但工作流调度需要检查依赖任务是否运行完成，从而触发任务的调度执行。随着大数据平台的普及，分析师所部署的自定义任务越来越多，也越来越复杂。复杂体现在：分析师所部署的自定义任务依赖的上游任务越来越多，自定义任务间的依赖关系越来越复杂。工作流调度所需要的依赖任务检查项越来越多。这对于ETL调度系统的处理性能、调度触发的即时性形成了一定的挑战，逐渐产生ETL调度系统负载高、调度触发不及时等问题，不利于分析师使用大数据平台进行快速分析和决策。

发明内容

本说明书实施例的目的是提供一种任务调度方法、装置及存储介质，以解决现有技术中ETL调度系统负载高、调度触发不及时等问题，提高任务调度的效率。

为解决上述问题，本说明书实施例提供一种任务调度方法，所述方法包括：获取具有依赖关系的多个自定义任务；所述自定义任务为用户部署的任务；所述自定义任务包括执行任务的脚本内容；对所述脚本内容进行解析，得到各个自定义任务依赖的上游任务；所述上游任务为系统任务；对各个自定义任务依赖的上游任务进行处理，解除所述多个自定义任务中的下游自定义任务与目标上游任务的依赖关系；其中，所述目标上游任务为所述多个自定义任务中上游自定义任务与下游自定义任务重复依赖的上游任务；在处理成功的情况下，根据处理后的各个自定义任务依赖的上游任务对所述多个自定义任务进行调度。