[发明专利]一种数据采集程序的管控方法、系统、设备及存储介质

说明书

本发明涉及数据采集管理技术领域，公开了一种数据采集程序的管控方法、系统、设备及存储介质。本发明根据数据采集任务配置表中的调度信息，定时调度数据采集程序以执行对应数据采集任务，并对所述数据采集程序采集到的数据调用相应的监控逻辑进行监控，所述监控逻辑每次被调用时用于根据当前采集到的数据计算各预置的监控指标的值，将所述监控指标的值与对应的指标阈值进行比对，得到比对结果，进而对各所述比对结果进行分析，在达到预警条件时执行相应的预警操作，过程中对任务运行状态进行可视化显示。本发明实现了对数据采集程序采集数据的整个过程的实时、自动化监控，提高了数据质量管控的效率。

技术领域

本发明涉及数据采集管理技术领域，尤其涉及一种数据采集程序的管控方法、系统、设备及存储介质。

背景技术

数据需求量的增加使得数据采集程序的数量快速增长，面对大量的数据采集程序，有必要实现对数据采集程序的运行状态及数据质量的自动管控。

现有的数据采集程序管理工具，主要的功能为任务调度及任务可视化，在运行状态及数据质量管控方面，依靠开发人员手动查阅程序运行日志来检查程序是否运行正常、手动检查数据库来核对数据质量等，存在数据采集管控费时费力的缺陷。

发明内容

本发明提供了一种数据采集程序的管控方法、系统、设备及存储介质，解决了现有数据采集程序管理工具不能实现对数据采集程序的运行状态及数据质量进行自动及高效管控的技术问题。

本发明第一方面提供一种数据采集程序的管控方法，包括：

根据数据采集任务配置表中的调度信息，定时调度数据采集程序以执行对应数据采集任务，所述数据采集任务配置表包括各监控指标对应的指标阈值；

对所述数据采集程序采集到的数据调用相应的监控逻辑进行监控，所述监控逻辑每次被调用时用于根据当前采集到的数据计算各所述监控指标的值，并将所述监控指标的值与对应的指标阈值进行比对，得到比对结果；

对各所述比对结果进行分析，在达到预警条件时执行相应的预警操作。

根据本发明第一方面的一种能够实现的方式，所述各监控指标包括空值数、空值率、最大超出重试次数、采集异常数量和/或采集成功数量。

根据本发明第一方面的一种能够实现的方式，所述对各所述比对结果进行分析，包括：

若任意一个监控指标与对应的指标阈值的比对结果不满足对应预置比对条件，判定达到预警条件。

根据本发明第一方面的一种能够实现的方式，所述执行相应的预警操作，包括：

通过界面显示用于提示对应数据采集任务失败的预警信息，和/或，向预设邮件接收方发送对应的预警邮件。

根据本发明第一方面的一种能够实现的方式，所述方法还包括：

接收数据显示指令；

根据所述数据显示指令，对数据采集程序的对应运行状态数据进行可视化显示；所述运行状态数据包括数据采集任务的标识、数据类型、名称、运行状态、运行开始时间、运行结束时间、各监控指标的值和/或运行日志。

根据本发明第一方面的一种能够实现的方式，所述方法还包括：

对数据采集任务的调度信息进行定时检测；

在所述数据采集任务的调度信息发生更改时，对应更新所述数据采集任务配置表中的调度信息。

本发明第二方面提供一种数据采集程序的管控设备，包括：

存储器，用于存储指令；其中，所述指令为可实现如上任意一项能够实现的方式所述的数据采集程序的管控方法的指令；

处理器，用于执行所述存储器中的指令。