[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本公开关于一种数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取补数事件的恢复信息；获取至少两个任务实例的数据信息；根据该至少两个任务实例之间的依赖关系和该至少两个任务实例的数据信息，从该至少两个任务实例中确定至少一个问题任务实例；对该至少一个问题任务实例执行数据生成操作。本公开中，电子设备可以仅对某一任务实例的部分下游任务实例(即问题任务实例)，具体为受问题数据影响的任务实例执行数据生成操作，能够减少资源浪费，提升数据处理的效率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前，当某一任务实例生成的数据出现质量问题时，补数装置可以对该任务实例的全部下游任务实例执行阻断操作；并且当该生成的数据恢复正常时，可以对该全部下游任务实例执行恢复操作。

但是，上述生成的数据可能只会影响到该全部下游任务实例中的部分下游任务实例。如此，上述对全部下游任务实例执行阻断操作或恢复操作的方法，可能会消耗大量资源，造成资源浪费。

发明内容

本公开提供一种数据处理方法、装置、电子设备及存储介质，解决了补数装置对某一任务实例的全部下游任务实例执行阻断操作或恢复操作时，消耗大量资源，造成资源浪费的技术问题。

本公开实施例的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法。该方法可以包括：获取补数事件的恢复信息，该恢复信息包括至少两个任务实例的标识以及该至少两个任务实例之间的依赖关系；获取该至少两个任务实例的数据信息，其中，一个任务实例的数据信息包括该任务实例的输入信息和该任务实例的输出信息；根据该至少两个任务实例之间的依赖关系和该至少两个任务实例的数据信息，从该至少两个任务实例中确定至少一个问题任务实例，该问题任务实例用于表征生成的数据存在质量问题的任务实例，该至少一个问题任务实例的数量小于该至少两个任务实例的数量；对该至少一个问题任务实例执行数据生成操作。

可选地，上述获取该至少两个任务实例的数据信息具体包括：获取该至少两个任务实例各自对应的任务详情，其中，一个任务实例对应的任务详情包括该任务实例对应的查询语句；对该至少两个任务实例各自对应的查询语句进行哈希处理，得到该至少两个任务实例各自对应的哈希值；在已存储的目标对应关系中存在第一哈希值的情况下，从该目标对应关系表中获取第一任务实例的数据信息，该目标对应关系中包括多个任务实例的数据信息以及该多个任务实例各自对应的哈希值，该第一哈希值为该第一任务实例对应的哈希值，该第一任务实例为该至少两个任务实例中的一个。

可选地，上述数据处理方法还包括：在该目标对应关系中不存在该第一哈希值的情况下，解析该第一任务实例对应的查询语句，以得到该第一任务实例的数据信息；将该第一哈希值和该第一任务实例的数据信息添加至该目标对应关系中。

可选地，一个任务实例的输入信息中包括输入字段，该任务实例的输出信息中包括输出字段，上述根据该至少两个任务实例之间的依赖关系和该至少两个任务实例的数据信息，从该至少两个任务实例中确定至少一个问题任务实例具体包括：当当前任务实例为问题任务实例时，确定该当前任务实例的直接下游任务实例对应的输入字段中，是否存在该当前任务实例对应的输出字段，该当前任务实例为该至少两个任务实例中的一个，该直接下游任务实例为与该当前任务实例存在依赖关系的下游任务实例；当该直接下游任务实例对应的输入字段中存在该当前任务实例对应的输出字段时，确定该直接下游任务实例为问题任务实例。

可选地，上述数据处理方法还包括：当该直接下游任务实例对应的输入字段中不存在该前任务实例对应的输出字段时，确定对该直接下游任务实例执行剪枝操作。

可选地，上述数据处理方法还包括：将该至少一个问题任务实例中每一个问题任务实例的标识和该每一个问题任务实例对应的输出字段添加至目标队列，该目标队列用于表征该每一个问题任务实例的确定顺序。