[发明专利]一种日志数据异常检测的方法及设备

说明书

本申请的目的是提供一种日志数据异常检测的方法及设备，本申请通过按照日志相似度对原始日志进行聚类处理，得到若干类别日志；统计每一类别日志在当前检测时刻的前预设时间内的单位时间的日志量，得到每一类别日志的时间序列的日志量数据；根据所述每一类别日志的时间序列的日志量数据及对应的动态阈值判断当前检测时刻是否为异常点。从而从日志量层面发现日志异常，通过检测易于历史的日志量变化达到检测异常事件的目的；仅对历史数据的学习即可对当前点进行检测，无需提前训练和人为标记，适用性高、计算速度快以及应用范围广。

技术领域

本申请涉及计算机领域，尤其涉及一种日志数据异常检测的方法及设备。

背景技术

传统的日志异常检测方法，是在针对日志信息进行检测时，采用正则表达式进行关键字匹配，从而发现其预先设定的异常日志；但这种方式局限于单条日志内容的检测，且只能对设定关键字的对应日志进行匹配发现，对其他日志进行忽略，其检测方式单一、实用性差。

发明内容

本申请的一个目的是提供一种日志数据异常检测的方法及设备，解决现有技术中检测方式只能进行单条日志内容的检测，检测方式单一以及实用性差的问题。

根据本申请的一个方面，提供了一种日志数据异常检测的方法，该方法包括：

按照日志相似度对原始日志进行聚类处理，得到若干类别日志；

统计每一类别日志在当前检测时刻的前预设时间内的单位时间的日志量，得到每一类别日志的时间序列的日志量数据；

根据所述每一类别日志的时间序列的日志量数据及对应的动态阈值判断当前检测时刻是否为异常点。

可选地，按照日志相似度对原始日志进行聚类处理，得到若干类别日志，包括：

按照日志的字段及词序的相似度对原始日志进行聚类处理，得到若干类别日志。

可选地，根据所述每一类别日志的时间序列的日志量数据及对应的动态阈值判断当前检测时刻是否为异常点，包括：

根据所述每一类别日志的时间序列的日志量数据判定当前检测时刻的前预设时间内的日志量是否稳定，若稳定，则判定所述当前检测时刻是否为离群点；

当所述当前检测时刻为离群点时，确定每一类别日志的动态阈值，根据所述动态阈值进行当前检测时刻的突变点检测；

根据检测结果判断所述当前时刻的日志检测点是否为异常点。

可选地，根据所述每一类别日志的时间序列的日志量数据判定当前检测时刻的前预设时间内的日志量是否稳定，包括：

将当前检测时刻的前预设时间内的历史日志作为训练数据；

根据所述每一类别日志的时间序列的日志量数据判定所述训练数据在所述当前检测时刻的前预设时间内的日志量是否稳定。

可选地，根据所述每一类别日志的时间序列的日志量数据判定所述训练数据在所述当前检测时刻的前预设时间内的日志量是否稳定，包括：

对所述训练数据计算每一类别日志的上限值和下限值；

根据所述每一类别日志的时间序列的日志量数据、所述上限值和下限值判定所述训练数据在所述当前检测时刻的前预设时间内的日志量是否稳定。

可选地，判定所述当前检测时刻是否为离群点，包括：

计算所述当前检测时刻的日志量，根据所述当前检测时刻的日志量以及所述训练数据判定所述当前检测时刻是否为离群点。

可选地，确定每一类别日志的动态阈值，包括：

对所述训练数据中的每一类别日志进行归一化处理，得到归一化数值；