[发明专利]一种基于机器学习的日志巡检方法、装置和电子设备

权利要求书

1.一种基于机器学习的日志巡检方法，其特征在于，包括：

获取待巡检日志，对所述待巡检日志进行筛选，得到异常日志；

对所述异常日志进行异常日志模板匹配，得到所述异常日志相对应的异常日志模板；

基于所述异常日志模板对所述异常日志进行特征提取，得到异常日志特征集；

将所述异常日志特征集输入到基于机器学习的异常日志模型中，得到所述异常日志的检测结果；

获取对所述检测结果的分析结果，将所述分析结果反馈于所述异常日志模型，更新所述异常日志模型；

创建追踪任务，对所述异常日志进行跟踪巡检。

2.如权利要求1所述的基于机器学习的日志巡检方法，其特征在于，在获取待巡检日志之前，包括：

对历史日志进行代码扫描，提取历史异常日志样本集；

通过正则表达式对所述历史异常日志样本集进行解析，得到异常日志模版；

对所述异常日志模板分配唯一的身份标识，并按照权重对所述异常日志模板进行重要性等级划分；

基于所述异常日志模板提取所述历史异常日志样本集的历史异常日志特征集，对所述历史异常日志特征集进行特征处理；

将处理后的所述历史异常日志特征集输入到深度神经网络模型训练，得到异常日志模型。

3.如权利要求1-2中任一项所述的基于机器学习的日志巡检方法，其特征在于，所述获取待巡检日志，包括：

实时监控写入日志的目录，将写入的日志以消息的形式传递给消息订阅中心，得到所述待巡检日志。

4.如权利要求1-3中任一项所述的基于机器学习的日志巡检方法，其特征在于，所述基于所述异常日志模板提取所述历史异常日志样本集的历史异常日志特征集，包括：

按照所述异常日志模板的唯一身份标识对所述历史异常日志样本集进行统计，并结合所述异常日志模板的权重进行均值、方差处理，得到统计特征；和/或，

通过对比所述历史异常日志样本集中序列前后的值，得到对比特征；和/或，

引入上下文特征；

将所述统计特征和/或所述对比特征和/或所述上下文特征结合，得到所述历史异常日志样本集的异常日志特征集。

5.如权利要求1-4中任一项所述的基于机器学习的日志巡检方法，其特征在于，在提取历史异常日志样本集之后，包括：

对所述历史异常日志样本集进行过采样处理。

6.如权利要求1-5中任一项所述的基于机器学习的日志巡检方法，其特征在于，所述对所述历史异常日志特征集进行特征处理，包括：

利用一位有效编码将所述历史异常日志特征集中的离散特征进行编码，得到二值特征；

对所述历史异常日志特征集进行特征缩放，得到处理后的所述历史异常日志特征集。

7.如权利要求1-6中任一项所述的基于机器学习的日志巡检方法，其特征在于，所述通过对比所述历史异常日志样本集中序列前后的值，得到对比特征，包括：

利用差分和/或比例的对比方式对比所述历史日志样本集中序列前后的值，得到所述对比特征。

8.如权利要求1-7中任一项所述的基于机器学习的日志巡检方法，其特征在于，所述得到所述异常日志的检测结果，包括：

以F分数作为评估指标，通过网格搜索算法、k折交叉验证确定最优阈值；

根据所述最优阈值对所述异常日志模型的输出结果进行二分类，得到所述异常日志的检测结果。