[发明专利]一种数据应用全链路管控方法及系统

说明书

本发明公开了一种数据应用全链路管控方法及系统，该方法包括：采集业务系统中的数据作业流程，获得数据作业节点；根据所述数据作业节点，对数据应用节点进行链接从而生成链路；读取、解析监控设置参数，获得对数据质量、数据安全的监控配置参数；根据所有所述链路的相关数据与所述监控配置参数，对全链路进行实时监控，并输出监控结果数据。该方法可对所有数据作业流程或应用的运行状态进行监控，同时，能针对单一应用、单一链路或重点应用开展可视化监控，有效保障数据应用的运行和数据的质量，提高数据运营效率和收益，最终实现数据应用的全链路管控。

技术领域

本发明涉及计算机数据技术领域，特别涉及一种数据应用全链路管控方法及系统。

背景技术

数据资产包含企业在日常生产、经营、管理过程中由本身产生的或从企业外部得到的有意义的数据资源。数据资产管理的含义即是通过收集并开发将数据有效的利用、将数据进行资产化定位，使得相关数据资产得到有效的安全保障，从而更好地被相关企业利用达到经济上的效益。

资产应用是数据资产管理的一个重要的方向，资产应用通过全链路实现端到端打通，评估应用投入产出比，并进行安全的检测管控。在数据资产管理的过程中，对数据的调用、加工、分析，需要针对资源分配、稳定性、及时性、错误定位等问题，对数据应用进行全链路监控，这种监控的目的是为了对业务流程的健康状况了然于胸，对于数据加工的全局和各个加工流程的上下游中出现的问题能快速发现、定位。

以电网行业为例，随着电网行业业务的拓展和技术的发展，单靠传统的“监控大盘”模式已经越来越不能满足监控需求，主要表现在以下几个方面：

“监控大盘”主要反映的是单个业务或应用的运行状态，缺少全局的业务视角能反应整个“业务域”的上下游整体的运行情况。

“业务监控”一直都是由“开发人员”纯手工打造，需要经过日志埋点、监控配置、报警阈值设置，整个过程费时费力，缺乏自动化、智能化监控的手段，这也是造成各系统监控能力参差不齐的重要原因，一些新业务因为无力投入大量精力配置监控，导致业务监控能力缺失。

因此，如何实现对整个“业务域”相关数据的监控，成为同行从业人员急需解决的问题。

发明内容

本发明的目的在于提供一种数据应用全链路管控方法及系统，该方法可实现对整个业务域相关数据的管控，可解决业务监控能力缺失的问题。

本发明实施例提供一种数据应用全链路管控方法，包括：采集业务系统中的数据作业流程，获得数据作业节点；

根据所述数据作业节点，对数据应用节点进行链接从而生成链路；

读取、解析监控设置参数，获得对数据质量、数据安全的监控配置参数；

根据所有所述链路的相关数据与所述监控配置参数，对全链路进行实时监控，并输出监控结果数据。

在一个实施例中，还包括：

解析所述监控结果数据，对监控结果数据进行处理，并输出处理后的数据；

对处理后的数据进行解析并可视化展示。

在一个实施例中，所述数据作业节点，包括以下多种作业流程：数据采集、数据传输、数据加工、数据存储、数据供给和数据应用；以及包括所有所述作业流程的输入、输出数据库表。

在一个实施例中，所述监控配置参数包括：监控过程执行的规则脚本、监控的时间节点、脚本执行的时间节点、规则脚本的等级。

在一个实施例中，根据所述数据作业节点，对数据应用节点进行链接从而生成链路，包括：

根据所有所述作业流程的输入、输出数据库表，获得所有数据表的来源与去向；

根据同一个数据表的来源与去向，获得两个数据作业节点的节点关系；