[发明专利]一种自动化日志异常检测方法及系统

权利要求书

1.一种自动化日志异常检测方法，其特征在于，包括：

步骤S1：对原始日志数据进行预处理得到第一日志数据集；

步骤S2：对所述第一日志数据集进行分组得到多个第二日志数据集，对各第二数据集进行特征提取得到对应的各特征集合；

步骤S3：根据无监督异常点发现算法及异常操作指令在各第二日志数据集中发现对应的日志异常点；

步骤S4：对所述各特征集合和对应的日志异常点进行训练，得到对应的各有监督机器学习分类模型；

步骤S5：选取与待检测日志数据对应的有监督机器学习分类模型对所述待检测日志数据进行检测，得到日志异常检测结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1，具体包括：

步骤S1－1：对原始日志数据进行清洗，并保留日志正文和网元类型；

步骤S1－2：对清洗后的原始日志数据进行去参数化及合并处理得到参数泛化日志正文列表；

步骤S1－3：对所述参数泛化日志正文列表中的日志正文分组，并根据各组中各日志正文的长度确定各日志正文的日志模式；

步骤S1－4：根据相同日志模型的日志正文之间的编辑距离确定各日志模式的模板，并根据所述模板确定各日志模式的类型号，得到含有所述网元类型、日志模式类型号的第一日志数据集。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2，具体包括：

步骤S2－1：根据所述网元类型对所述第一日志数据集进行分组，得到各网元类型的第二日志数据集；

步骤S2－2：分别统计在第一预设时间段内各第二日志数据集中每个日志模式的出现次数，得到与所述各第二日志数据集对应的由日志模式类型号和出现次数构成的各特征集合。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3，具体包括：

步骤S3－1：根据无监督异常点发现算法，分别对各第二日志数据集进行训练得到对应的各日志异常点集合；

步骤S3－2：根据历史操作指令集，并结合领域知识构建异常操作指令集；

步骤S3－3：根据所述异常操作指令集，分别对所述各日志异常点集合进行验证，得到各日志异常点集合中各日志异常点的类型。

5.根据权利要求4所述的方法，其特征在于，所述步骤S4，具体包括：

步骤S4－1：根据所述各特征集合和对应的各日志异常点集合构建对应的各异常点训练集；

步骤S4－2：根据随机森林算法，分别对所述各异常点训练集进行训练得到对应的各有监督机器学习分类模型。

6.一种自动化日志异常检测系统，其特征在于，包括：

预处理模块，用于对原始日志数据进行预处理得到第一日志数据集；

分组模块，用于对所述预处理模块得到的第一日志数据集进行分组得到多个第二日志数据集；

提取模块，用于对所述分组模块得到的各第二数据集进行特征提取得到对应的各特征集合；

异常点发现模块，用于根据无监督异常点发现算法及异常操作指令在所述分组模块得到的各第二日志数据集中发现对应的日志异常点；

训练模块，用于对所述提取模块得到的各特征集合和异常点发现模块发现的对应的日志异常点进行训练，得到对应的各有监督机器学习分类模型；

异常点检测模块，选取与待检测日志数据对应的有监督机器学习分类模型对所述待检测日志数据进行检测，得到日志异常检测结果。