[发明专利]一种日志分类方法、装置、系统及计算机可读存储介质

说明书

本发明公开了一种日志分类方法、装置、系统及计算机可读存储介质，涉及日志处理领域，当检测到存储系统中的任一模块生成故障日志时，将该故障日志发送至预设神经网络模型中，以提取出故障日志中的信息特征并对信息特征赋予权重值，然后将带有权重值的信息特征发送至预设机器学习模型中，以根据信息特征本身及其权重值来将故障日志分类到对应的故障分类中，预设神经网络模型和预设机器学习模型都是预先根据故障日志训练得到的，神经网络模型的输出作为机器学习模型的训练集。通过模型对故障日志赋予权重，利用权重和特征对故障日志进行详细分类，能够准确地将每一个故障日志分类到正确的类别中，降低了误判的概率，不需要人工进行二次筛选。

技术领域

本发明涉及日志处理领域，特别是涉及一种日志分类方法、装置、系统及计算机可读存储介质。

背景技术

为了保证存储系统的正常运行，存储系统中的各个模块在运行时会产生表示其自身工作状态的日志信息，当模块发生故障时则会生成表示其故障的日志信息，工作人员获取到这些故障日志之后即可对故障进行定位和修复。但由于模块在正常运行时也会不断地产生日志，当某个模块发生故障时，其故障日志很容易被其他模块生成的大量正常日志所淹没，导致工作人员无法及时地找出故障日志。为了帮助工作人员及时找出故障日志，现有技术通常是基于日志中的关键词来给每个日志进行分类，根据故障日志与正常日志中的关键词的不同来将日志分为正常日志和故障日志两类，工作人员只需关注故障日志这一分类中的日志。但是，仅根据关键词对日志分类的方法容易造成误判，可能会将日志分类到错误的类别中；而且，没有故障日志进行详细分类，仍需要人工二次筛选和分析来从多个故障日志中找出重要或优先的故障日志进行处理。

发明内容

本发明的目的是提供一种日志分类方法、装置、系统及计算机可读存储介质，能够准确地将每一个故障日志分类到正确的类别中，降低了误判的概率，不需要人工进行二次筛选就可以简单地让工作人员确定出重要或优先的故障日志进行处理。

为解决上述技术问题，本发明提供了一种日志分类方法，包括：

当检测到存储系统中的任一模块有新的日志生成时，判断所述日志是否为故障日志；

若是，则获取所述故障日志；

将所述故障日志发送至预设神经网络模型中，以便提取出所述故障日志中的信息特征并对所述信息特征赋予权重值，所述预设神经网络模型预先由预设数量的所述故障日志训练得到的；

将带有所述权重值的所述信息特征发送至预设机器学习模型中，以便将所述故障日志分类到所述故障日志对应的故障类别中，所述预设机器学习模型预先由预设数量的所述故障日志的信息特征训练得到的；

其中，所述权重值与所述模块发生的实际故障的严重程度之间成正相关。

优选的，判断所述日志是否为故障日志，包括：

获取所述日志中的日志等级；

判断所述日志等级是否表示为所述模块正常运行的日志等级；

若是，则判定所述日志不为故障日志；

若否，则判定所述日志为故障日志。

优选的，将所述故障日志分类到所述故障日志对应的故障类别中，包括：

在所述预设机器学习模型中，根据带有所述权重值的所述信息特征、生成所述故障日志的所述模块的信息以及所述故障日志的日志等级将所述故障日志分类到对应的故障类别中。

优选的，所述预设神经网络模型包含Embedding层，提取出所述故障日志中的信息特征，包括：

在所述预设神经网络模型中，利用所述Embedding层将所述故障日志转换成特征向量；

对所述特征向量进行特征提取，并将得到的语义特征作为所述信息特征。