[发明专利]一种数据管控平台及架构

说明书

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据管控平台及架构。

背景技术

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

随着大数据的快速发展，如何管理如此庞大的数据量，并且如何好的支撑业务发展，这类问题日益突出。因此，如何实现整体的全面数据管控的技术方案已成为了本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供的一种数据管控平台及架构，实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。

本发明实施例提供的一种数据管控平台，包括：

元数据处理单元和ETL单元；

所述元数据处理单元根据接收到的元数据处理指令，获取到通过所述ETL单元提取的元数据进行与所述元数据处理指令相对应的处理，并将处理结果进行展示。

可选地，所述元数据处理指令包括元数据浏览、元数据分析和元数据检索。

可选地，元数据管控平台还包括：

数据标准处理单元、数据质量处理单元、应用管理处理单元、运维监控处理单元、业务处理单元和系统管理单元。

可选地，所述元数据管控平台为MVC架构。

本发明实施例提供的一种数据管控架构，包括：

数据层、元数据模型层，以及如权利要求1至4中任意一项所述的元数据管控平台；

所述数据层、所述元数据模型层和所述元数据管控平台依次通信连接；

其中，所述元数据模型层获取到经由解析之后的所述数据层的数据，所述元数据模型层将所述数据根据数据类型进行对应的处理和存储，并根据所述元数据管控平台的要求将所述数据提供给所述元数据管控平台进行应用。

可选地，数据管控架构还包括：

访问层和用户层；

所述访问层，用于获取所述用户层通过控制终端发送的元数据处理指令，并将所述元数据处理指令发送给所述元数据管控平台进行处理。

可选地，所述数据通过解析器进行解析。

可选地，所述数据包括DDL数据、SQL数据、XML数据、Excel数据、Perl数据和SourceData数据。

可选地，所述元数据模型层包括数据管理知识库、DBC数据模块、ETL数据模块、PDM数据管理模块、Mart数据模块、Stage数据模块。

可选地，所述数据管理知识库包括DQ数据、DS数据、ETL数据和元数据。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供的一种数据管控平台及架构，其中，数据管控平台包括：元数据处理单元和ETL单元；元数据处理单元根据接收到的元数据处理指令，获取到通过ETL单元提取的元数据进行与元数据处理指令相对应的处理，并将处理结果进行展示。本实施例中，通过元数据处理单元根据接收到的元数据处理指令，获取到通过ETL单元提取的元数据进行与元数据处理指令相对应的处理，便实现了庞大数据量的管理全局的数据关系脉络化，提升统一有序的业务系统的管理数据能力，实现对数据间流转、依赖关系的影响分析和血缘分析，解决了缺乏整体的全面数据管控的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种数据管控平台的一个实施例的结构示意图；

图2为本发明实施例提供的一种数据管控架构的一个实施例的结构示意图

图3为元数据的表浏览的界面示意图；

图4为元数据的数据库浏览的界面示意图；

图5为元数据的表信息浏览的界面示意图；

图6为(a)和(b)元数据分析的血缘分析的界面示意图

图7(a)和(b)为元数据分析的影响分析的界面示意图

图8为元数据管理系统的物理部署示意图；

图9为系统数据流示意图；

图10为元数据浏览的表信息界面示意图；