[发明专利]一种基于大数据血缘的数据质量追踪系统及方法

权利要求书

1.一种基于大数据血缘的数据质量追踪系统，其特征在于：包括血缘关系生成模块、血缘关系管理模块、数据质量检测模块、数据质量追踪模块，所述血缘关系生成模块分析字段粒度的血缘关系，血缘关系管理模块用于生成血缘关系完整链路图，数据质量检测模块用于判断数据表或字段的质量等级，数据质量追踪模块用于定位数据问题目标表或字段。

2.根据权利要求1所述的基于大数据血缘的数据质量追踪系统，其特征在于：所述血缘关系生成模块依托数据治理平台，依据数据治理平台的数据任务，分析字段粒度的血缘关系。

3.根据权利要求2所述的基于大数据血缘的数据质量追踪系统，其特征在于：所述血缘关系管理模块通过将不同治理任务的血缘关系整合，生成血缘关系完整链路图，形成从原始表到最终表的可追踪链路，用于血缘查询。

4.根据权利要求3所述的基于大数据血缘的数据质量追踪系统，其特征在于：所述数据质量追踪模块根据数据质量检测模块快的结果进行数据追踪，定位数据问题目标表或字段。

5.一种基于大数据血缘的数据质量追踪方法，其特征在于：包括以下步骤：

S1、建立血缘关系库：规范化管理数据源，分析血缘关系，并进行血缘关系的整合；

S2、追踪数据质量检测结果：在数据质量平台进行检测，并将检测结果进行追踪处理。

6.根据权利要求5所述的基于大数据血缘的数据质量追踪方法，其特征在于：规范化管理数据源将不同类型的数据源注册到管理系统中，将数据源作为唯一的数据来源。

7.根据权利要求6所述的基于大数据血缘的数据质量追踪方法，其特征在于：分析血缘关系为通过数据源管理中注册的数据源中所进行的清洗、提取和处理的有数据流动的操作，整合血缘关系即绘制血缘关系图。

8.根据权利要求7所述的基于大数据血缘的数据质量追踪方法，其特征在于：在数据质量平台进行检测时，使用数据质量检测模块，检测任务结果包含血缘关系查询所需的参数，数据质量检测先生成基本质量报告，在报告中对产生的问题的表或字段提供调用血缘关系查询接口。

9.根据权利要求8所述的基于大数据血缘的数据质量追踪方法，其特征在于：检测结果进行追踪处理时，在数据质量检测报告中，根据血缘关系追踪数据质量问题根源并查找对其他表的影响，提供在链路图中的标记功能，依据标记内容生成用于提升数据质量的处理流程。