[发明专利]一种面向电网公司数据中台的数据血缘分析方法

说明书

本发明公开了一种面向电网公司数据中台的数据血缘分析方法，包括：采集数据中台的贴源层、共享层和分析层的数据资源结构信息；基于所述数据资源结构信息访问数据中台的数据链路配置信息，获取所述数据资源结构信息对应的数据流转链路信息；基于所述数据资源结构信息和数据流转链路信息，利用图数据库构建源业务系统、数据中台和分析应用之间的数据血缘关系图谱；基于图数据库和数据血缘关系图谱获取源业务系统、数据中台和业务应用之间的血缘路径；将所述血缘路径进行图谱化展示。本发明通过对数据进行血缘分析，便于用户从源业务系统出发分析数据的影响和数据的受众，从已建的业务应用出发回顾数据流转架构、追踪数据源头。

技术领域

本发明涉及数据分析技术领域，特别是涉及一种面向电网公司数据中台的数据血缘分析方法。

背景技术

目前，信息化进程快速推进了数据资产化，使应用涉及的数据量级快速膨胀，同时结构形式在不同领域呈现非对称式多元化。这种形势下，数据体现为一种野蛮生长的原始生态，数据主体对要素的吸附力逐渐降低，对数据定位及信息提炼带来了巨大的挑战。

电网公司数据中台经过前期建设，完成重点业务领域核心数据的接入，对内、对外提供数据服务，初步具备数据“可视、可查、可取”能力。随着数据中台数据流动链路数量大幅增加，数据服务面临如下困难：

（1）数据中台或源业务系统检修以及表结构发生变化对数据中台上层业务应用造成的影响范围不明确；

（2）数据中台上层业务应用出现异常结果数据，无有效手段快速追踪异常发生原因和精准定位异常数据源头。

因此，亟需建立源端到数据中台流转、处理到上层分析应用间的数据血缘关系。

发明内容

本发明的目的在于克服现有技术的一项或多项不足，提供一种面向电网公司数据中台的数据血缘分析方法。

本发明的目的是通过以下技术方案来实现的：一种面向电网公司数据中台的数据血缘分析方法，包括：

采集数据中台的贴源层、共享层和分析层的数据资源结构信息；

基于所述数据资源结构信息访问数据中台的数据链路配置信息，获取所述数据资源结构信息对应的数据流转链路信息；

基于所述数据资源结构信息和数据流转链路信息，利用图数据库构建源业务系统、数据中台和分析应用之间的数据血缘关系图谱；

基于图数据库和数据血缘关系图谱获取源业务系统、数据中台和业务应用之间的血缘路径；

将所述血缘路径进行图谱化展示。

优选的，定时采集数据中台的贴源层、共享层和分析层的数据资源结构信息，包括：

通过ETL程序连接数据中台的数据库；

访问数据中台数据库中的内置系统表，定时采集数据中台的贴源层、共享层和分析层的数据资源结构信息；

将所述数据资源结构信息存储在关系型数据库。

优选的，所述数据资源结构信息包括模式信息、表信息和字段信息中的一种或多种。

优选的，所述数据流转链路信息包括源业务系统与数据中台之间的数据集成关系信息、数据中台内部各层级间的数据流转关系信息和数据中台数据表与业务应用之间的对应关系信息中的一种或多种。

优选的，所述源业务系统与数据中台的数据集成关系信息的获取方法包括：

访问数据中台的数据集成组件；

根据数据中台贴源层的数据表名定位数据集成算子；

根据所述数据集成算子采集源表与贴源层数据表间的表级/字段级数据集成关系信息。

优选的，所述数据中台内部各层级间的数据流转关系信息的获取方法包括：

访问数据中台的数据开发组件；

根据数据中台共享层和分析层的数据表名定位SQL算子；