[发明专利]数据的处理方法、装置、电子设备及存储介质

说明书

本申请提供了一种数据的处理方法、装置、电子设备及存储介质，其中，在数据的处理方法中，首先获取目标数字化指标的加工输出作业。接着查找加工输出作业的依赖作业。获取依赖作业中数据检核作业的数据文件信息。然后基于数据文件信息生成数据链路基线，并保存到数据库。最后对数据检核作业以及数据链路基线中的数据进行异常监控。利用本申请的方法，通过目标数字化指标的加工输出作回溯其依赖作业，并获取中数据检核作业的数据文件信息生成数据链路基线，能够对数据检核作业以及数据链路基线中的数据进行异常监控，数据运维人员可以根据监控告警及时发现数据链路基线中的数据异常或者某个作业异常的情况，从而快速解决出现的异常情况。

技术领域

本申请涉及数据管理技术领域，尤其涉及一种数据的处理方法、装置、电子设备及存储介质。

背景技术

随着数字经济时代的深入发展，金融行业的经营环境发生了巨大的变化，各级经营管理者必须及时充分地掌握经营环境的各项信息，动态地了解企业的各项经营情况，并根据经营情况做出正确的决策和部署，才能保证企业能够持续健康的发展。因此，大多数企业会对业务数据需求进行定义和分解形成数字化指标，并对数字化指标进行管理。

现有的数字化指标监控运维方案,通常只关注数字化指标的加工输出作业，无法关注到数字化指标的整个数据加工链路环节，当源端组件数据异常或者中间环节作业加工异常时，无法被及时发现并处理，导致相关业务受到影响。

发明内容

有鉴于此，本申请提供了一种数据的处理方法、装置、电子设备及存储介质，以解决现有技术中在数据加工链路环节中，当源端组件数据异常或者中间环节作业加工异常时，无法被及时发现并处理，导致相关业务受到影响的问题。

为实现上述目的，本申请提供如下技术方案：

本申请第一方面公开了一种数据的处理方法，包括：

获取目标数字化指标的加工输出作业，其中，所述目标数字化指标为预先标识的数字化指标；

查找所述加工输出作业的依赖作业；

获取所述依赖作业中数据检核作业的数据文件信息；

基于所述数据文件信息生成数据链路基线，并保存到数据库；

对所述数据检核作业以及所述数据链路基线中的数据进行异常监控。

可选的，上述的方法，所述查找所述加工输出作业的依赖作业，包括：

获取所述加工输出作业的依赖关系表；

根据所述依赖关系表查找出所述加工输出作业的依赖作业。

可选的，上述的方法，所述获取所述依赖作业中数据检核作业的数据文件信息，包括：

通过预设的作业配置信息表，查找出所述依赖作业中数据检核作业的数据文件信息。

可选的，上述的方法，所述基于所述数据文件信息生成数据链路基线，包括：

获取文件传输日志；

将所述文件传输日志中的数据文件信息与所述数据文件信息进行对比；

若所述文件传输日志中的数据文件信息与所述数据文件信息一致，则基于所述数据文件信息生成数据链路基线；

若所述文件传输日志中的数据文件信息与所述数据文件信息不一致，则对所述数据文件信息进行校正，并基于校正后的数据文件信息生成数据链路基线。

可选的，上述的方法，所述对所述数据链路基线进行异常监控，包括：

获取预设时间周期内的作业运行数据以及文件传输数据；

基于所述作业运行数据，计算得到作业告警阈值；