[发明专利]数据监测方法、装置及计算机可读存储介质

说明书

本公开提供了一种数据监测方法、装置及计算机可读存储介质，涉及计算机技术领域。其中的数据监测方法包括：对第一时间序列数据进行基于局部加权回归散点平滑法的季节趋势分解STL处理，获得第一时间序列数据的季节分量、趋势分量以及残差分量；根据残差分量，判断第一时间序列数据中是否存在异常数据；在第一时间序列数据中不存在异常数据的情况下，向数据显示设备推送第一时间系列数据；在第一时间序列数据中存在异常数据的情况下，停止向数据显示设备推送第一时间系列数据，并触发异常数据告警。本公开能够准确检测到异常业务数据，并熔断基于异常业务数据的下游作业同时触发告警，提升了基于业务数据进行作业的鲁棒性。

技术领域

本公开涉及计算机技术领域，特别涉及一种数据监测方法、装置及计算机可读存储介质。

背景技术

互联网公司搭建数据质量监控系统，对来自各个数据源中的数据变化进行监控。在数据质量监控系统中，用户可以通过建立质量监控作业的方式，自定义采集项配置、算法项配置、预警条件设置(例如预警枚举值)，对数据仓库、数据集市中的数据表进行每日定时的数据采集和数据计算，并与历史数据或维表进行比对验证。在比对结果显示存在异常数据的情况下，对触发预警条件的异常数据以短信、邮件、应用消息等方式及时通知给用户，从而保障基于业务数据进行作业。

发明内容

本公开解决的一个技术问题是，如何提升基于业务数据进行作业的鲁棒性。

根据本公开实施例的一个方面，提供了一种数据监测方法，包括：对第一时间序列数据进行基于局部加权回归散点平滑法的季节趋势分解STL处理，获得第一时间序列数据的季节分量、趋势分量以及残差分量；

根据残差分量，判断第一时间序列数据中是否存在异常数据；在第一时间序列数据中不存在异常数据的情况下，向数据显示设备推送第一时间系列数据；在第一时间序列数据中存在异常数据的情况下，停止向数据显示设备推送第一时间系列数据，并触发异常数据告警。

在一些实施例中，根据残差分量，判断第一时间序列数据中是否存在异常数据包括：计算残差分量的均值及标准差；计算残差分量中的目标数值与均值之差的绝对值，并判断绝对值是否大于标准差的三倍；在绝对值大于标准差的三倍的情况下，目标数值所对应第一时间序列数据中的数值为异常数据；在绝对值不大于标准差的三倍的情况下，目标数值所对应第一时间序列数据中的数值不为异常数据。

在一些实施例中，还包括：在第一时间序列数据中不存在异常数据的情况下，确定第二时间序列数据中与第一时间序列数据相关联的关联分量；将第二时间序列数据分解为关联分量和剩余分量；根据剩余分量，判断第二时间序列数据中是否存在异常数据；在第二时间序列数据中不存在异常数据的情况下，向数据显示设备推送第二时间系列数据；在第二时间序列数据中存在异常数据的情况下，停止向数据显示设备推送第二时间系列数据，并触发异常数据告警。

在一些实施例中，对第一时间序列数据进行基于局部加权回归散点平滑法的季节趋势分解STL处理包括：根据第一时间序列数据的波动幅度，选取STL处理的运算模型。

在一些实施例中，根据第一时间序列数据的波动幅度，选取STL分解的运算模型包括：在第一时间序列数据的波动幅度随时间的变化率大于预设值的情况下，在STL处理中采用乘法模型；在第一时间序列数据的波动幅度随时间的变化率不大于预设值的情况下，在STL处理中采用加法模型。

在一些实施例中，对第一时间序列数据进行基于局部加权回归散点平滑法的季节趋势分解STL处理还包括：根据第一时间序列数据的业务属性，确定STL处理的模型参数。