[发明专利]失败任务的影响及溯源分析方法、装置、设备及存储介质

说明书

本发明公开了一种失败任务的影响及溯源分析方法，该方法包括：获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；根据所述表数据信息在预设的图形数据库中创建HQL任务节点；根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。本发明还公开了一种失败任务的影响及溯源分析装置、设备和一种存储介质。本发明能够实现自动对失败任务进行影响及溯源分析，保证分析的正确性和实效性。

技术领域

本发明涉及数据分析技术领域，尤其涉及失败任务的影响及溯源分析方法、装置、设备及存储介质。

背景技术

大数据任务是由很多个小的HQL(Hibernate Query Language，查询语言)语句组成的，会创建很多的数据表，由于表结构和表数据错误等原因，每个小的HQL任务在执行的过程中都有可能会失败。一般情况下，当某个任务运行失败时，需要评估对依赖于该任务的其他任务是否有影响，同时还需要追溯该任务错误的源头。

目前，失败任务的影响及溯源分析一般是用关系型数据库去存储任务之间的依赖关系，在需要定位问题的时候根据这些依赖关系，人工去配置生成依赖视图，再去分析相关的任务，确定问题和影响。这种方式的缺陷在于：通过关系型数据库存储大量任务之间的依赖关系，执行起来非常复杂且扩展性差，进行依赖计算的时候需要全表扫描，效率低且受限于内存的大小，而且只能根据关系模型数据生成依赖视图，且需要人工参与分析，无法保证分析的正确性和实效性。

发明内容

本发明的主要目的在于提出一种失败任务的影响及溯源分析方法、装置、设备及存储介质，旨在实现自动对失败任务进行影响及溯源分析，减少人工参与，保证分析的正确性和实效性。

为实现上述目的，本发明提供一种失败任务的影响及溯源分析方法，所述方法包括如下步骤：

获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息；

根据所述表数据信息在预设的图形数据库中创建HQL任务节点；

根据所述表的生成规则信息构建不同的HQL任务节点之间的依赖关系，并构建所述不同HQL任务节点之间的反向依赖关系，形成HQL血缘图谱；

当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析。

优选地，所述获取与当前运行的HQL任务对应的表数据信息和表的生成规则信息的步骤包括：

获取当前运行的HQL任务的运行日志，从所述运行日志中读取与所述当前运行的HQL任务对应的表数据信息和表的生成规则信息。

优选地，所述根据所述表数据信息在预设的图形数据库中创建HQL任务节点的步骤包括：

获取所述表数据信息中的表名；

在预设的图形数据库中创建与所述表名对应的HQL任务节点。

优选地，所述当检测到某一HQL任务失败时，根据所述HQL血缘图谱对失败的HQL任务进行影响及溯源分析的步骤包括：

当检测到某一HQL任务失败时，在所述HQL血缘图谱中定位失败的HQL任务的任务节点，并查询所有与失败的HQL任务的任务节点存在依赖关系和反向依赖关系的任务节点，得到查询结果；

根据所述查询结果对失败的HQL任务进行影响及溯源分析。

优选地，所述根据所述查询结果对失败的HQL任务进行影响及溯源分析的步骤之后，还包括：

当接收到修复指令时，根据所述修复指令对所述查询结果中的任务节点对应的HQL任务进行批量重启。