[发明专利]一种数据治理方法、系统、设备及存储介质

说明书

本发明涉及大数据处理领域，公开了一种数据治理方法、系统、设备及存储介质，所述方法包括根据数据资源目录，制定若干类主题的数据分表。对所述数据分表的每个字段进行质量分析，筛选出字段质量最高的数据分表作为数据主表。根据业务需求定义关联数据主键，并利用所述关联数据主键，确定所述数据主表的数据结构。本发明针对不同系统数据源环境间的同类数据统一了加工标准，有效避免了数据的重复调用和预处理计算与过程表存储资源的浪费和消耗，提高了数据的治理效率。

技术领域

本发明涉及大数据处理领域，更具体地，涉及一种数据治理方法、系统、设备及存储介质。

背景技术

在多系统和多数据源环境下，某些共享和应用频率较高的数据集合无法在一定时间范围内用常规软件工具进行捕捉、管理和处理。

目前的数据治理方法首先梳理数据目录，然后构建基础库和主题库，并针对基础库和主题库对应的数据，通过数据质量分析发现数据质量问题，进而提出改进和服务。然而上述方法在构建基础库和主题库的数据来源繁复，定义结构松散，且针对不同系统数据源环境间的同类数据加工标准不统一，会造成治理效率低的缺陷。

发明内容

本发明为克服现有技术针对不同系统数据源环境间的同类数据加工标准不统一，导致治理效率低的缺陷，提供一种数据治理方法、系统、设备及存储介质。

为解决上述技术问题，本发明的技术方案如下：

第一个方面，本发明提出一种数据治理方法，包括以下步骤：

根据数据资源目录，制定若干类主题的数据分表。

对所述数据分表的每个字段进行质量分析，筛选出字段质量最高的数据分表作为数据主表。

根据业务需求定义关联数据主键，并利用所述关联数据主键，确定所述数据主表的数据结构。

以所述数据主表的数据结构为元数据治理标准，对各数据分表进行数据治理。

作为优选的技术方案，所述对各数据分表进行数据治理，包括对各数据分表进行字段治理、数据回填、数据逻辑处理和数据去重。

作为优选的技术方案，所述对数据分表的每个字段进行质量分析，包括对每个字段进行完整性、及时性、有效性、唯一性和合理性分析。

作为优选的技术方案，在制定若干类主题的数据分表之后，对所述数据分表的每个字段进行质量分析之前，所述方法还包括：将数据分表接入数据治理平台。

作为优选的技术方案，所述数据治理平台为海治数据治理平台。

作为优选的技术方案，所述对各数据分表完成数据治理之后，所述方法还包括：对数据治理效果进行评估，并根据评估结果，对数据进行修正。

作为优选的技术方案，在对数据完成修正后，所述方法还包括：将完成修正后的数据同步至大数据库，向公众授权开放使用。

第二个方面，本发明还提出一种数据治理系统，应用于如第一个方面任一技术方案所述的数据治理方法，包括：

制定模块，用于根据数据资源目录，制定若干类主题的数据分表。

筛选模块，用于对所述数据分表的每个字段进行质量分析，筛选出字段质量最高的数据分表作为数据主表。

确定模块，用于根据业务需求定义关联数据主键，并利用所述关联数据主键，确定所述数据主表的数据结构。

治理模块，用于以所述数据主表的数据结构为元数据治理标准，对各数据分表进行数据治理。

第三个方面，本发明还提出一种计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如第一个方面任一技术方案所述的数据治理方法所执行的操作。