[发明专利]一种数据应用全链路管控方法及系统

权利要求书

1.一种数据应用全链路管控方法，其特征在于，包括：

采集业务系统中的数据作业流程，获得数据作业节点；

根据所述数据作业节点，对数据应用节点进行链接从而生成链路；

读取、解析监控设置参数，获得对数据质量、数据安全的监控配置参数；

根据所有所述链路的相关数据与所述监控配置参数，对全链路进行实时监控，并输出监控结果数据。

2.如权利要求1所述的一种数据应用全链路管控方法，其特征在于，还包括：

解析所述监控结果数据，对监控结果数据进行处理，并输出处理后的数据；

对处理后的数据进行解析并可视化展示。

3.如权利要求1所述的一种数据应用全链路管控方法，其特征在于，所述数据作业节点，包括以下多种作业流程：数据采集、数据传输、数据加工、数据存储、数据供给和数据应用；以及包括所有所述作业流程的输入、输出数据库表。

4.如权利要求1所述的一种数据应用全链路管控方法，其特征在于，所述监控配置参数包括：监控过程执行的规则脚本、监控的时间节点、脚本执行的时间节点、规则脚本的等级。

5.如权利要求3所述的一种数据应用全链路管控方法，其特征在于，根据所述数据作业节点，对数据应用节点进行链接从而生成链路，包括：

根据所有所述作业流程的输入、输出数据库表，获得所有数据表的来源与去向；

根据同一个数据表的来源与去向，获得两个数据作业节点的节点关系；

根据所述节点关系，自动生成两个数据作业节点间的链路；

将所有的作业流程所包含的节点进行连接，从而生成全链路。

6.如权利要求2所述的一种数据应用全链路管控方法，其特征在于，对监控结果数据进行处理，包括：

对通用的、简单的、确定的数据问题、节点故障问题，根据设定的规则或历史处理信息进行纠正。

7.如权利要求6所述的一种数据应用全链路管控方法，其特征在于，所述处理后的数据，包括：

业务系统数据的操作指令、数据链路监控的结果数据；所述数据链路监控的结果数据包括：应用数据的数据质量、数据安全的评级、处理优先级、相应的数据应用节点、解决方法建议信息。

8.一种应用如权利要求1-7任一项所述数据应用全链路管控方法的数据应用全链路管控系统，包括：数据层和采集层，其特征在于，还包括：持久层、逻辑层和展现层；所述数据层、采集层、持久层、逻辑层和展现层依次连接；

其中，所述数据层包括源系统数据和数据库组件；

所述采集层采集所述源系统数据和数据库组件中存储的指标数据、日志数据、元数据、任务数据；

所述持久层对所述采集层采集的数据进行过滤、清洗、转换和装载操作；

所述逻辑层对所述持久层处理的数据，使用关系分析、数据汇总分析、事件计算；分别进行自动化链路梳理、实时监控和状态分析；

所述展现层对所述逻辑层的分析结果进行展示；展示内容包括血缘展示、告警信息、处理方案推荐、实时监控信息。