[发明专利]数据异常检测方法、装置及设备

说明书

本发明实施例公开了一种数据异常检测方法、装置及设备，以解决现有技术中数据异常检测的准确性低以及局限性大的问题，该方法包括：获取待检测的目标业务日志数据；确定目标业务日志数据对应的目标业务信息；根据目标业务信息及预先训练的基森林异常检测器，对目标业务日志数据进行异常检测，得到目标业务日志数据对应的业务异常信息；基森林异常检测器包含多个孤立森林异常检测器；各孤立森林异常检测器由多个样本业务日志数据训练得到；根据业务异常信息，确定目标业务日志数据是否异常。该技术方案提升了日志数据异常检测的准确率，且适用于多种不同业务类型的日志数据异常检测，即具有很高的适用性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据异常检测方法、装置及设备。

背景技术

在日志分析过程中，目前常用的应用异常检测方式包括基于基线规则的业务日志分析、基于统计的业务日志分析、基于传统的算法分类。在基于基线规则的业务日志分析中，由于不同的业务子环节对于异常的基线设定规则不一，部分业务对于时延、服务数等指标的波动容忍性大，从而导致利用基线设定每一个子环节的规则工作量会非常庞大。基于统计的业务日志分析由于无法随着业务系统的升级持续进行学习，导致异常检测的准确性会随会随着时间的推移下降。基于传统的算法分类需要足够多带人工标签的训练样本，这意味着日志数据中需要包含日志所在时刻的服务状态，即该服务是否发生异常。这样的标签数据是需要人类专家进行鉴定判别的，并且无法形成较大的规模。因此传统的算法分类虽然大多数情况下能够达到理论上的最佳效果，却很难广泛应用于没有标签数据的异常检测。

发明内容

本发明实施例提供一种数据异常检测方法、装置及设备，以解决现有技术中数据异常检测的准确性低以及局限性大的问题。

为解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种数据异常检测方法，该方法包括：

获取待检测的目标业务日志数据；

确定所述目标业务日志数据对应的目标业务信息；所述目标业务信息包括业务服务数量、服务成功数量、服务失败数量、服务时延中的至少一项；

根据所述目标业务信息及预先训练的基森林异常检测器，对所述目标业务日志数据进行异常检测，得到所述目标业务日志数据对应的业务异常信息；所述基森林异常检测器包含多个孤立森林异常检测器；各所述孤立森林异常检测器由多个样本业务日志数据训练得到；

根据所述业务异常信息，确定所述目标业务日志数据是否异常。

第二方面，本发明实施例还提供了一种数据异常检测装置，该装置包括：

获取模块，用于获取待检测的目标业务日志数据；

第一确定模块，用于确定所述目标业务日志数据对应的目标业务信息；所述目标业务信息包括业务服务数量、服务成功数量、服务失败数量、服务时延中的至少一项；

第一检测模块，用于根据所述目标业务信息及预先训练的基森林异常检测器，对所述目标业务日志数据进行异常检测，得到所述目标业务日志数据对应的业务异常信息；所述基森林异常检测器包含多个孤立森林异常检测器；各所述孤立森林异常检测器由多个样本业务日志数据训练得到；

第二确定模块，用于根据所述业务异常信息，确定所述目标业务日志数据是否异常。

第三方面，本发明实施例还提供了一种数据异常检测设备，包括：

存储器，存储有计算机程序指令；

处理器，当所述计算机程序指令被所述处理器执行时实现如上述第一方面所述的数据异常检测方法。