[发明专利]一种日志异常检测的方法和装置

说明书

本公开提供一种日志异常检测的方法和装置，其中所述方法包括：对获取的实时集群日志进行聚类分析，生成对应的标签树；将所述标签树与日志模板库进行匹配，确定与所述标签树匹配的日志模板以及对应的日志异常类别，并将所述实时集群日志按所述日志异常类别保存至对应的日志模板，其中，所述日志模板库包括多个日志模板，每个日志模板具有对应的日志异常类别；基于不同日志异常类别的实时集群日志进行异常检测，确定检测结果，可以实现对海量大数据的实时集群日志的聚合分析，进而对每类实时集群日志进行异常检测，确定检测结果，减少人工排查的工作量，简化了故障排查流程。

技术领域

本公开涉及计算机技术领域，尤其涉及一种日志异常检测的方法和装置、电子设备及非暂态计算机可读存储介质。

背景技术

对于集群日志的异常检测，对于计算机集群来说是比较常用的检测技术，以实现对集群日志的监控，及时发现问题。

现有技术中，对于集群日志的检测依赖运维工程师根据经验编写的规则脚本，在面对海量大数据集群日志(每天达到亿级)的情况下，现有技术中的方式会存在覆盖度出现遗漏，而且很难兼顾到日志在某个时段持续的数量突增的异常的缺陷。所以，现有技术的日志异常检测方法的故障排查时间慢、故障排查流程繁琐。

发明内容

本公开提供一种日志异常检测的方法和装置、电子设备及非暂态计算机可读存储介质，用以解决现有技术中日志异常检测方法的故障排查时间慢、故障排查流程繁琐的技术问题。

本公开提供一种日志异常检测的方法，包括：

对获取的实时集群日志进行聚类分析，生成对应的标签树；

将所述标签树与日志模板库进行匹配，确定与所述标签树匹配的日志模板以及对应的日志异常类别，并将所述实时集群日志按所述日志异常类别保存至对应的日志模板，其中，所述日志模板库包括多个日志模板，每个日志模板具有对应的日志异常类别；

基于不同日志异常类别的实时集群日志进行异常检测，确定检测结果。

根据本公开一实施例提供的日志异常检测的方法，所述日志模板库的生成方法包括：

获取历史集群日志；

基于所述历史集群日志生成初始标签树；

搭建初始模板树，基于初始标签树对所述初始模板树进行训练，生成模板，并将所述模板生成日志模板库；

对所述模板进行二次聚类，对每类所述模板标注对应的日志异常类别。

根据本公开一实施例提供的日志异常检测的方法，所述方法还包括：

在所述标签树与日志模板库未匹配的情况下，基于未匹配的实时集群日志与已存的每个日志异常类别对应的历史集群日志进行相似度计算，确定所述未匹配的实时集群日志对应的日志异常类别；

基于所述未匹配的实时集群日志及其对应的日志异常类别，对所述日志模板库进行增量训练任务，得到更新后的日志模板库。

根据本公开一实施例提供的日志异常检测的方法，基于不同日志异常类别的实时集群日志进行异常检测，确定检测结果，包括：

将每个日志异常类别对应的实时集群日志以及历史集群日志转换成时序指标；

将所述时序指标输入至基线监控模型，输出每个日志异常类别对应的异常预测值；

其中，所述异常预测值包括：时序指标的均值变化、抖动频率变化、检测尖峰和深谷以及跌落比例值。

根据本公开一实施例提供的日志异常检测的方法，基于不同日志异常类别的实时集群日志进行异常检测，确定检测结果，包括：

确定不同日志异常类别的实时集群日志的占比，根据所述占比确定第一检测结果。