[发明专利]一种数据处理方法、系统及设备

说明书

本发明公开了一种数据处理方法、系统及设备，该方法包括：接收并缓存实时采集的指标时序数据；将所述指标时序数据传输到节点环上与指标对应的节点中进行异常检测处理，获得检测结果并输出，所述节点环上包括多个节点，一个节点对应一个指标。通过上述方式，本发明提高了时序数据实时异常检测系统的可用性，减少了计算时间，使单位时间内可检测更多的指标数据；提高了容错能力，个别时段的延迟不会延续到未来时段。

技术领域

本发明涉及计算机数据处理技术领域，特别是指一种数据处理方法、系统及设备。

背景技术

流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。时序数据是最典型的流式数据，也是运维领域最常见的一类观测指标。通过对实时产生的时序数据进行异常检测判定以及时发现、处理故障。智能运维场景下，为及时发现系统问题，需要对业务系统进行全面的实时监控，过程涉及大量时序指标实时异常检测。

现有技术中，基于数据库和文件系统的实时检测系统，流程复杂、耗时高、容错能力差。

发明内容

本发明要解决的技术问题是如何提供一种数据处理方法、系统及设备。解决现有技术中基于数据库和文件系统的实时检测系统，流程复杂、耗时高、容错能力差的问题。

为解决上述技术问题，本发明的技术方案如下：

一种数据的处理方法，包括：

接收并缓存实时采集的指标时序数据；

将所述指标时序数据传输到节点环上与指标对应的节点中进行异常检测处理，获得检测结果并输出，所述节点环上包括多个节点，一个节点对应一个指标。

可选的，接收并缓存实时采集的指标时序数据，包括：

在第一单位时间内，通过接收进程，接收并缓存实时采集的指标时序数据。

可选的，所述节点具有与所述节点对应的指标的历史数据存储区域、待检测数据区域以及异常检测算法模型区域。

可选的，将所述指标时序数据传输到节点环上，与指标对应的节点中进行异常检测处理，包括：

在所述第一单位时间之后的第二单位时间内，通过检测进程将所述指标时序数据传输到节点环上，与指标对应的节点的待检测数据区域；

从所述节点环上的起始节点开始，按顺序依次进行各节点的待检测数据的异常检测处理，直到各节点检测完毕或者检测时间结束。

可选的，数据的处理方法，还包括：在检测时间结束时，若所述节点环上的节点没有检测完，则将所述检测时间结束时在进行异常检测处理的节点作为下一次检测时间开始时的起始节点，进行异常检测处理。

可选的，将所述指标时序数据传输到节点环上与指标对应的节点的待检测数据区域后，还包括：

对所述指标时序数据的备份数据进行去重、排序、补全处理中的至少一项，得到第一处理结果；

将所述第一处理结果与所述历史数据存储区域中的历史数据进行合并，得到合并后的历史数据。

可选的，数据处理方法，还包括：节点环上与指标对应的节点的异常检测处理后，清空所述节点的待检测数据区域。

本发明的实施例还提供一种数据处理系统，包括：

接收模块，用于接收并缓存实时采集的指标时序数据；

处理模块，用于将所述指标时序数据传输到节点环上与指标对应的节点中进行异常检测处理，获得检测结果；

输出模块，用于输出所述检测结果，所述节点环上包括多个节点，一个节点对应一个指标。