[发明专利]一种识别任务链路中无效计算的方法、系统及设备

说明书

本申请公开了一种识别任务链路中无效计算的方法、系统及设备。本说明书一实施例的方法流程包括：在按照任务链路的执行顺序执行计算任务的过程中，当执行到第一计算任务时，在执行所述第一计算任务前识别所述第一计算任务在本轮任务链路执行过程中是否为无效计算，其中，当满足以下所有条件时，所述第一计算任务为无效计算：在本轮任务链路执行过程中，所述第一计算任务依赖的所有计算任务均为无效计算；在本轮任务链路执行过程中，所述第一计算任务依赖的所有任务链路外部输入相较上一轮任务链路执行时没有发生变化。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种识别任务链路中无效计算的方法、系统及设备。

背景技术

对于数据研发而言，往往会建立大量的计算任务，彼此之间形成一个有向无环的计算任务链路图，该计算任务链路图可以作为完整的一个任务链路或者多个具有承接关系的任务链路。

一般的，在实际应用场景中，不同的研发部门(团体)会维护各自负责的那一部分任务链路所包含的计算任务，这些计算任务不断更新、上线，长此以往任务链路中往往会出现大量无效计算：有的是永久无效计算，例如计算任务的下游已经没有人使用该计算任务的计算结果或者计算任务的上游数据已经不再更新；有的是当日无效计算，例如计算任务的上游今日没有数据(例如周末，节假日)或者没有更新。这些无效计算每天可能占据着相当比例的计算资源，因此，为了节约计算资源，就需要尽可能的及时发现无效计算并进行相应的处理。

发明内容

有鉴于此，本说明书实施例提供了一种识别任务链路中无效计算的方法、系统及设备，用于解决现有技术中无效计算对计算资源的占用问题。

本说明书实施例采用下述技术方案：

本说明书实施例提供一种识别任务链路中无效计算的方法，所述方法包括：

在按照任务链路的执行顺序执行计算任务的过程中，当执行到第一计算任务时，在执行所述第一计算任务前识别所述第一计算任务在本轮任务链路执行过程中是否为无效计算，其中，当满足以下所有条件时，所述第一计算任务为无效计算：

在本轮任务链路执行过程中，所述第一计算任务依赖的所有计算任务均为无效计算；

在本轮任务链路执行过程中，所述第一计算任务依赖的所有任务链路外部输入相较上一轮任务链路执行时没有发生变化。

在本说明书一实施例中，所述方法还包括：

在本轮任务链路执行过程中，当所述第一计算任务为无效计算时，不执行所述第一计算任务，直接拷贝所述第一计算任务上次执行的执行结果作为当前的执行结果。

在本说明书一实施例中：

所述方法还包括，在本轮任务链路执行过程中，当所述第一计算任务为无效计算时，标记所述第一计算任务为执行结果未更新；

识别所述第一计算任务是否为无效计算，其中,当满足以下所有条件时，所述第一计算任务为无效计算：

在本轮任务链路执行过程中，所述第一计算任务依赖的所有计算任务均被标记为执行结果未更新；

在本轮任务链路执行过程中，所述第一计算任务依赖的所有任务链路外部输入相较上一轮任务链路执行时没有发生变化。

在本说明书一实施例中，所述方法还包括：

创建标记表，所述标记表包括用于描述所述任务链路中每一个计算任务执行结果和/或每一个任务链路外部输入输入参数是否被更新的标志位；

当所述计算任务被识别为无效计算时，将对应的标记位记录为未更新；

在识别所述计算任务是否为无效计算时，读取所述标记表并根据所述标记表中的标记位判断所述计算任务是否为无效计算。