[发明专利]数仓任务监控方法、系统、设备及存储介质

权利要求书

1.一种数仓任务监控方法，其特征在于，包括：

对于底层任务，获取所述底层任务中预设表参数信息，所述预设表参数信息表示数据仓库中目标数据库和目标表的相关信息；

根据所述预设表参数信息，与关键字段信息表进行匹配，判断所述底层任务是否为关键任务；

若所述底层任务为关键任务，则根据所述底层任务、所述数据仓库的依赖关系图谱和血缘关系图谱，获取与所述底层任务有关的所有上游血缘任务；

对所述底层任务和所述上游血缘任务进行监控。

2.根据权利要求1所述的数仓任务监控方法，其特征在于，所述关键字段信息通过如下方式获得：

根据所述数据仓库中数据库的应用日志，提取初始参数信息；

根据所述初始参数信息和目标归类神经网络中，得到初始参数信息的评分；

根据所述初始参数信息的评分，筛选关键字段信息。

3.根据权利要求2所述的数仓任务监控方法，其特征在于，所述根据所述数据仓库中数据库的应用日志，提取初始参数信息，包括：

根据所述数据库的应用日志，提取关键指标信息；

将所述关键指标信息输入到目标分类神经网络中，获取所述关键指标信息对应的等级；

根据所述关键指标信息对应的等级，筛选出所述初始参数信息。

4.根据权利要求3所述的数仓任务监控方法，其特征在于，所述根据所述数据库的应用日志，提取关键指标信息，包括：

将所述数据库的应用日志同步到大数据集群，并对所述应用日志进行数据清洗；

对清洗后的应用日志进行拆分，得到字段信息；

根据所述字段信息，得到每一数据库对应的关键指标信息。

5.根据权利要求1所述的数仓任务监控方法，其特征在于，所述关键字段信息包括表调用次数。

6.根据权利要求1至5任一所述的数仓任务监控方法，其特征在于，所述预设表参数信息包括所述底层任务中目标数据库类型、目标表大小、目标表的调用次数和目标表PK值。

7.根据权利要求1所述的数仓任务监控方法，其特征在于，所述底层任务表示所述数据仓库中ADS层的任务。

8.一种数仓任务监控系统，其特征在于，包括：

底层模块，用于对于底层任务，获取所述底层任务中预设表参数信息，所述预设表参数信息表示数据仓库中目标数据库和目标表的相关信息；

匹配模块，用于根据所述预设表参数信息，与关键字段信息表进行匹配，判断所述底层任务是否为关键任务；

推导模块，用于若所述底层任务为关键任务，则根据所述底层任务、所述数据仓库的依赖关系图谱和血缘关系图谱，获取与所述底层任务有关的所有上游血缘任务；

监控模块，用于对所述底层任务和所述上游血缘任务进行监控。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述数仓任务监控方法的步骤。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述数仓任务监控方法的步骤。