[发明专利]任务处理方法、装置、服务器及存储介质

说明书

本公开关于一种任务处理方法、装置、服务器及存储介质，所述方法包括：获取输入的初始任务标识和目标时间区间；从任务依赖关系结构中，获取与初始任务标识相同的任务标识所对应的任务，作为当前任务；从任务依赖关系结构中获取当前任务对应的下游任务，将当前任务和当前任务对应的下游任务作为目标任务；根据目标任务的调度周期和目标时间区间，确定目标任务的任务执行数据；根据目标任务的任务依赖关系，确定任务执行数据之间的数据依赖关系；根据数据依赖关系，生成包括任务执行数据的任务执行数据结构，并按照任务执行数据结构执行任务执行数据。本实施例的任务执行数据结构占用内存资源较少，从而提高了内存资源的利用率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种任务处理方法、装置、服务器及存储介质。

背景技术

大数据的计算、分析和处理通常由很多独立的进程完成，每个进程完成特定的数据处理逻辑，这些进程称之为任务。在实际某个大数据工作流处理过程中，任务和任务之间存在着先后的顺序依赖关系，也可以称为血缘关系。

举例来说，要处理任务A，首先要完成任务B的处理，因为任务A的处理依赖任务于B的处理结果，那么任务A和任务B的依赖关系为：任务A依赖于任务B。由于任务之间存在依赖关系，为保证工作流中整体任务正常运行处理，任务需要按照依赖关系有序、高效的执行，故而每次执行任务之前需要根据其任务元数据构建任务实例血缘图，在任务实例血缘图梳理了每个任务的任务实例之间的依赖关系，按照任务实例血缘图按序执行任务实例完成任务的执行。

然而，由于全量的任务实例血缘图构建后会存储到数据库，以便于任务实例血缘图恢复以快速执行任务，每次写入的任务规模在百万级别左右，需要消耗大量的内存资源，导致内存资源的利用率较低。

发明内容

本公开提供一种任务处理方法、装置、服务器及存储介质，以至少解决相关技术中维护全量的任务实例血缘图占用大量内存资源，导致内存资源的利用率较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种任务处理方法，包括：

获取输入的初始任务标识和目标时间区间；

从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务；所述任务依赖关系结构中包括多个任务对应的任务标识、调度周期和任务依赖关系；

从所述任务依赖关系结构中获取所述当前任务对应的下游任务，将所述当前任务和所述当前任务对应的下游任务作为目标任务；

根据所述目标任务的所述调度周期和所述目标时间区间，确定所述目标任务的任务执行数据；

根据所述目标任务的所述任务依赖关系，确定所述任务执行数据之间的数据依赖关系；

根据所述数据依赖关系，生成包括所述任务执行数据的任务执行数据结构，并按照所述任务执行数据结构执行所述任务执行数据。

在其中一个实施例中，所述根据所述目标任务的所述调度周期和所述目标时间区间，确定所述目标任务的任务执行数据，包括：

根据所述目标任务的调度周期和所述目标时间区间，确定至少一个任务执行时间；

将所述任务执行时间作为所述目标任务的执行时间，得到所述目标任务的至少一个任务执行数据。

在其中一个实施例中，在从任务依赖关系结构中，获取与所述初始任务标识相同的任务标识所对应的任务，作为当前任务之前，所述方法还包括：

获取任务元数据；所述任务元数据包括任务对应的任务标识、调度周期和上游依赖数据；所述上游依赖数据包括所述任务对应的上游任务的上游任务标识和上游依赖描述符；

根据所述上游依赖描述符和所述上游任务的调度周期，生成所述任务的依赖关系式；