[发明专利]一种基于机器学习的日志巡检方法、装置和电子设备

说明书

本发明涉及计算机技术领域，具体涉及一种基于机器学习的日志巡检方法、装置和电子设备，包括：获取待巡检日志，对所述待巡检日志进行筛选，得到异常日志；对所述异常日志进行异常日志模板匹配，得到所述异常日志相对应的异常日志模板；基于所述异常日志模板对所述异常日志进行特征提取，得到异常日志特征集；将所述异常日志特征集输入到异常日志模型中，得到所述异常日志的检测结果；获取对所述检测结果的分析结果，将所述分析结果反馈于所述异常日志模型，更新所述异常日志模型；创建追踪任务，对所述异常日志进行跟踪巡检。本发明通过自动创建追踪任务实现对异常日志的追踪，解放开发人员，利用模型自动更新持续提升异常日志的巡检精度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于机器学习的日志巡检方法、装置和电子设备。

背景技术

现代互联网基本都是微服务架构，系统多、日志巡检工作量大，压缩产品开发时间，导致产品质量降低，而产品质量降低又会增加日志巡检工作量，形成恶性循环。

为了不降低生产的产品质量，那么必然会拉长产品开发时间，长此以往会降低公司产品的竞争力，同时巡检效果严重依赖开发人员，如图1所示，现有巡检流程中，异常日志巡检、分析异常原因、手工记录、创建任务跟踪、信息同步阶段均需要开发人员的参与，开发人员的自觉性对巡检效果产生影响较大。

另一方面，由于安全方面的限制，生产数据无法直接下载到本地，增加了工作量，同时也影响工作体验。

发明内容

针对上述技术问题，本发明提供了一种基于机器学习的日志巡检方法、装置和电子设备，用以实现对异常日志的追踪，解放开发人员，同时持续提升异常日志的巡检精度，保护数据安全。

本说明书实施例提供一种基于机器学习的日志巡检方法，包括：

获取待巡检日志，对所述待巡检日志进行筛选，得到异常日志；

对所述异常日志进行异常日志模板匹配，得到所述异常日志相对应的异常日志模板；

基于所述异常日志模板对所述异常日志进行特征提取，得到异常日志特征集；

将所述异常日志特征集输入到基于机器学习的异常日志模型中，得到所述异常日志的检测结果；

获取对所述检测结果的分析结果，将所述分析结果反馈于所述异常日志模型，更新所述异常日志模型；

创建追踪任务，对所述异常日志进行跟踪巡检。

优选的，在获取待巡检日志之前，包括：

对历史日志进行代码扫描，提取历史异常日志样本集；

通过正则表达式对所述历史异常日志样本集进行解析，得到异常日志模版；

对所述异常日志模板分配唯一的身份标识，并按照权重对所述异常日志模板进行重要性等级划分；

基于所述异常日志模板提取所述历史异常日志样本集的历史异常日志特征集，对所述历史异常日志特征集进行特征处理；

将处理后的所述历史异常日志特征集输入到深度神经网络模型训练，得到异常日志模型。

优选的，所述获取待巡检日志，包括：

实时监控写入日志的目录，将写入的日志以消息的形式传递给消息订阅中心，得到所述待巡检日志。

优选的，所述基于所述异常日志模板提取所述历史异常日志样本集的历史异常日志特征集，包括：

按照所述异常日志模板的唯一身份标识对所述历史异常日志样本集进行统计，并结合所述异常日志模板的权重进行均值、方差处理，得到统计特征；和/或，

通过对比所述历史异常日志样本集中序列前后的值，得到对比特征；和/或，