[发明专利]数仓任务监控方法、系统、设备及存储介质

说明书

本发明提出一种数仓任务监控方法、系统、设备及存储介质，该方法包括：对于底层任务，获取所述底层任务中预设表参数信息，所述预设表参数信息表示数据仓库中目标数据库和目标表的相关信息；根据所述预设表参数信息，与关键字段信息表进行匹配，判断所述底层任务是否为关键任务；若所述底层任务为关键任务，则根据所述底层任务、所述数据仓库的依赖关系图谱和血缘关系图谱，获取与所述底层任务有关的所有上游血缘任务；对所述底层任务和所述上游血缘任务进行监控。本发明实施例通过提取整个数仓中与底层任务具有血缘关系的任务，对每个任务进行监控，以实时知晓数据变化情况。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数仓任务监控方法、系统、设备及存储介质。

背景技术

现有大数据仓库任务的血缘关系按照数据流向从上至下包括ODS (OperationalData Store，数据运营层)、DWD(Data Warehouse Detail，数据明细层)、DWM(DataWarehouse Middle，数据中间层)、DWS(Data Warehouse Servce，数据服务层)和ADS(Application Data Service，数据应用层)五层，数据源中的数据经过抽取、洗净、传输，也就是ETL过程之后进入ODS层， ODS对数据进行去噪、字段清洗等操作后进入数据仓库层，数据仓库层包括 DWD、DWM和DWS三层，经过一系列的隔离、聚合和分析等操作，得到可以供ADS层应用软件直接使用的数据，因此，由于数据链是由上至下的，上层数据的变动会对下层数据产生较大的影响，从最上游的ODS层任务到最下游的ADS层任务中间有依赖和血缘关系的上游血缘任务可能多达十多个，导致顶层对底层任务的重要性感知度低，当上层数据发生变化时，最下游任务也应该及时同步变化，但是现有技术中无法知晓与上游任务具有血缘关系的底层任务，导致底层任务执行时出错。

发明内容

本发明提供一种数仓任务监控方法、系统、设备及存储介质，其主要目的在于提取整个数仓中与底层任务具有血缘关系的任务，对每个任务进行监控，以实时知晓数据变化情况。

第一方面，本发明提供一种数仓任务监控方法，包括：

对于底层任务，获取所述底层任务中预设表参数信息，所述预设表参数信息表示数据仓库中目标数据库和目标表的相关信息；

根据所述预设表参数信息，与关键字段信息表进行匹配，判断所述底层任务是否为关键任务；

若所述底层任务为关键任务，则根据所述底层任务、所述数据仓库的依赖关系图谱和血缘关系图谱，获取与所述底层任务有关的所有上游血缘任务；

对所述底层任务和所述上游血缘任务进行监控。

优选地，所述关键字段信息通过如下方式获得：

根据所述数据仓库中数据库的应用日志，提取初始参数信息；

根据所述初始参数信息和目标归类神经网络中，得到初始参数信息的评分；

根据所述初始参数信息的评分，筛选关键字段信息。

优选地，所述根据所述数据仓库中数据库的应用日志，提取初始参数信息，包括：

根据所述数据库的应用日志，提取关键指标信息；

将所述关键指标信息输入到目标分类神经网络中，获取所述关键指标信息对应的等级；

根据所述关键指标信息对应的等级，筛选出所述初始参数信息。

优选地，所述根据所述数据库的应用日志，提取关键指标信息，包括：

将所述数据库的应用日志同步到大数据集群，并对所述应用日志进行数据清洗；

对清洗后的应用日志进行拆分，得到字段信息；