[发明专利]一种任务数据处理方法、装置及电子设备

说明书

本申请实施例提供了一种任务数据处理方法、装置及电子设备，涉及计算机技术领域，上述方法包括：创建目标流任务；在预设存储路径下获取目标任务目录；获取目标任务目录中的目标项；根据目标项中的检查点路径，获取目标检查点数据；通过目标流任务加载目标检查点数据，以恢复宕机流任务。本申请实施例的任务数据处理方法，通过获取宕机流任务目标任务目录中的目标项，从而获取目标检查点数据，该目标检查点数据即为发生宕机前宕机流任务最后存储的Checkpoint数据，能够从该终断流任务的中间状态继续运行，保证了数据的一致性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种任务数据处理方法、装置及电子设备。

背景技术

随着互联网技术的快速发展，出现了越来越多的数据，使得对数据的处理也变得十分重要。

实时流式任务处理可对源源不断到来的数据尽快处理，以及将处理的结果尽快展现的特点。实时数据处理在任务失败后容易丢失数据，因此流式计算框架采用Checkpoint(检查点)的方式来提高数据的可靠性。具体地，每个流任务在其设置的外部存储下有一个独立的任务目录，用来存储每个流任务最近成功的Checkpoint数据文件项。Checkpoint数据文件项中记录了Checkpoint数据的存储位置。在一个流任务失败后，该流任务可以查询自身的任务目录，从而获取Checkpoint数据来恢复到任务失败前的状态，并继续运行。

申请人研究发现，在现有技术中，每个流任务只会读取自身的任务目录，因此，在流任务执行过程中，若出现断电或宕机等异常情况，在重建流任务时，新建的流任务会创建新的目录，并从重新开始处理相应任务。

发明内容

本申请实施例的目的在于提供一种任务数据处理方法、装置及电子设备，以实现重建流任务时，从终断任务的未完成状态继续运行，保证了数据的一致性。具体技术方案如下：

第一方面，本申请实施例公开了一种任务数据处理方法，所述方法包括：

创建目标流任务；

在预设存储路径下获取目标任务目录；

获取所述目标任务目录中的目标项；

根据所述目标项中的检查点路径，获取目标检查点数据；

通过所述目标流任务加载所述目标检查点数据。

可选的，所述预设存储路径为检查点Checkpoint存储路径，所述在预设存储路径下获取目标任务目录，包括：

在所述Checkpoint存储路径中，按照任务目录的时间戳对各任务目录进行排序；

在排序后的任务目录中，在除所述目标流任务的任务目录外的其他任务目标中选取时间戳与当前时间最接近的任务目录，得到目标任务目录。

可选的，在所述创建目标流任务之后，所述方法还包括：

在所述预设存储路径不包括所述目标任务目录时，通过所述目标流任务处理任务数据。

可选的，所述获取所述目标任务目录中的目标项，包括：

获取所述目标任务目录中Checkpoint ID最大的Checkpoint数据文件项，得到目标项。

第二方面，本申请实施例提供了一种任务数据处理装置，所述装置包括：

流任务创建模块，用于创建目标流任务；

目标目录获取模块，用于在预设存储路径下获取目标任务目录；

目标项获取模块，用于获取所述目标任务目录中的目标项；

检查点数据获取模块，用于根据所述目标项中的检查点路径，获取目标检查点数据；