[发明专利]一种基于机器学习的日志等级分析方法

说明书

本申请发明一种基于机器学习算法的日志分析方法。该方法通过收集大量的已有日志信息作为训练集，并构建机器学习模型，再通过对训练集的学习与测试，形成一个高精度的预测模型；然后让此预测模型运行在服务器中，自动分析此后出现的每一条新日志，并预测出该条日志的严重等级，若发现是个高危等级的日志，则立即通知维护人员，做到及时响应、及时处理问题。

技术领域

本发明涉及服务器检测领域，具体涉及一种基于机器学习的日志等级分析方法。

背景技术

一般情况下，一台服务器上通常会运行多种服务，开启数十种软件，同时还会有运维人员定期对服务器机器进行维护和测试，这一系列的操作都会产生大量的操作数据。通常情况下，为了服务器的安全，操作系统及运行的服务都会对一些关键操作进行日志记录，比如用户远程登录、连接数据库、程序发生故障崩溃等，将这些关键信息记录日志，可以有助于在日后出现问题时方便进行问题定位。

由于服务器上的日志文件非常多，并且每个日志文件中还会存放大量的日志记录，因此如何对其中的内容进行分析、提取出有效的信息比如警告信息、错误提示信息等等，对维护人员来说是提高工作效率的一个重要手段。

目前比较常用的处理方法是在发生问题后，由人工从服务器中提取相关日志，并将相关日志整理成表格或其他固定格式的文件，然后按照时间点找到出现问题的时刻，再对该时刻的日志进行分析，定位到问题所在，最后对问题进行处理。这种分析定位的方法，效率低下，响应滞后，无法在第一时间发现并定位问题，因此亟需一种更有效的方式，对服务器的日志文件进行处理分析。

考虑到在人工智能飞速发展的今天，机器学习领域取得了非常大的进展，可以将比较成熟的机器学习算法应用于海量日志分析中。鉴于此，为了解决上述问题，本申请发明一种基于机器学习算法的日志分析方法。该方法通过收集大量的已有日志信息作为训练集，并构建训练模型，再通过对训练集的学习与测试，形成一个精度很高的预测模型。然后让此模型运行在服务器中，让它自动分析此后出现的每一条新日志，并预测出该条日志的严重等级，若发现是个高危等级的日志，则立即通过邮件或其他手段通知维护人员，做到及时响应、及时处理问题。

发明内容

具体地，本申请请求保护一种基于机器学习的日志等级分析方法，其特征在于，该方法具体包括：

获取服务器中海量日志记录信息；

从该海量日志记录信息中提取日志文字信息和日志等级信息；

将提取的日志文字信息和日志等级信息进行数字化处理，生成二维的数据结构；

将海量日志记录信息随机排布，分割为两个部分，一部分作为训练集用来对机器学习模型进行训练，另一部分作为测试集，用来对机器学习模型测试其学习精度；

选择一个精度较高的模型作为预测模型运行在服务器中，让它自动分析此后出现的每一条新日志，并预测出该条日志的严重等级，如果发现高危等级的日志，则立即通知维护人员。

如上所述的基于机器学习的日志等级分析方法，其特征还在于，该机器学习模型可以选择KNN或者逻辑回归算法作为学习模型。

如上所述的基于机器学习的日志等级分析方法，其特征还在于，在海量日志记录信息分割的两个部分中，训练集与测试集的比例为9:1。

如上所述的基于机器学习的日志等级分析方法，其特征还在于，生成二维的数据结构为设置所有单词对应的列为feature，将最后一列结果设置为label。

如上所述的基于机器学习的日志等级分析方法，其特征还在于，对于后续服务器中出现的每条日志信息，将其分解为feature信息，然后经过预测模型后预测对应的level，再根据level来自动生成提示信息。

附图说明

图1、日志分析流程图