[发明专利]应用于数据加工的监控方法、装置、设备及介质

说明书

本申请提供了一种应用于数据加工的监控方法、装置、设备及介质，在批量作业的数据加工过程中的，检测至少一个作业环节的状态是否正常；在确定作业环节的状态出现异常时，生成对应的告警短信和事件通知单；将告警短信发送到第一预设终端；确定告警短信的类型为预设类型时，终止批量作业。上述方法可以监控批量作业各个环节可能出现的异常情况，及时准确的通知到技术人员，使得技术人员可以及时地处理异常，大大避免因故障处理不及时而影响系统的正常稳定运行，有助于提升系统的可靠性。

技术领域

本申请涉及数据加工的技术领域，具体而言，本申请涉及一种应用于数据加工的监控方法、装置、设备及介质。

背景技术

为了掘金数字经济、助推转型升级，银行的数字化转型战略成为必然趋势。为了实现数字化转型，一方面需要确立新的考核维度和考核指标体系，全面推进数字化建设；另外一方面需要在支付、获客、信贷、智能投顾及财富管理等领域深度挖掘。因此稳定高效的数据处理系统成为迫在眉睫的需求。

目前的银行普遍应用客户数据基础系统和指标体系系统，应用数据驱动精细化运营、数据驱动用户运营、数据驱动互联网产品运营、数据驱动活动运营和数据驱动金融产品运营。上述的运营过程普遍存在一些问题：

1.海量数据的加工时间较长，无法适应时效性较高的数据加工

2.丢弃的脏数据所占比例较大，直接影响数据准确性；

3.数据加工过程缺乏监控，导致加工指标不稳定。

上述情况都影响了的数据处理系统的应用、数据分析和数据挖掘。为了应对上述为题，数据分析和数据挖掘类系统可以以批量作业的处理模式来处理海量并且关系复杂数据。批量作业的处理模式一般分为实时批量、准实时异步批量以及日终批量，联机小批量由联机交易驱动实时响应客户的需求，但更多的大数据相关的批量是准实时异步批量和日终批量。梳理完整的数据加工链路，共包括五个环节：源数据到达、源数据加载、指标加工、结果生成和文件推送。各个环节可能出现的异常场景包括文件未到、空文件、文件结构变更、批量作业异常终止、指标不平、作业延迟和推送异常。一旦在数据加工流程中出现以上异常情况，轻则影响时效性，重则影响数据准确性，导致整个数字化导向的偏离。

发明内容

本申请针对现有方式的缺点，提出一种应用于数据加工的监控方法、装置、设备及介质，用以解决上述至少一个技术问题。

一方面，本申请实施例提供了一种应用于数据加工的监控方法，包括：

在批量作业的数据加工过程中的，检测至少一个作业环节的状态是否正常；

在确定所述作业环节的状态出现异常时，生成对应的告警短信和事件通知单；

将所述告警短信发送到第一预设终端；

确定所述告警短信的类型为预设类型时，终止所述批量作业。

在本申请的一种实施例中，所述作业环节包括以下至少一项：文件达到环节、文件内容检测环节、文件入库环节、文件运行环节、指标情况检测环节、报表更新环节和文件推送环节。

在本申请的一种实施例中，所述检测至少一个作业环节的状态是否正常，包括：在所述文件达到环节，检测预设文件是否到达；

在确定所述作业环节的状态出现异常时，生成对应的告警短信和事件通知单，包括：确定所述预设文件未到达时，生成针对所述作业环节的文件达到环节的告警信息和事件通知单。

在本申请的一种实施例中，所述检测至少一个作业环节的状态是否正常，包括：在所述文件内容检测环节，检测预设文件是否为空文件；

在确定所述作业环节的状态出现异常时，生成对应的告警短信和事件通知单，包括：确定所述预设文件为空文件时，生成针对所述作业环节的文件内容检测环节的告警信息和事件通知单。