[发明专利]异常日志检测方法、装置、电子设备和存储介质

说明书

本发明提供一种异常日志检测方法、装置、电子设备和存储介质，其中方法包括：确定待检测日志的日志特征；基于异常检测模型，对所述日志特征进行多种不同算法下的异常检测，并对多种不同算法下的检测结果进行加权融合，得到异常检测结果，所述加权融合的权重是基于所述待检测日志中包含领域关键词的数量确定的；所述异常检测模型是基于样本日志的日志特征及其异常标签训练得到的。本发明提供的方法、装置、电子设备和存储介质，应用待检测日志中包含的领域关键词的数量确定加权融合的权重，从而对在多种不同算法下进行异常检测所得的检测结果进行融合，实现多算法融合的异常检测，从而确保了异常检测的准确性和可靠性。

技术领域

本发明涉及运维业务支撑技术领域，尤其涉及一种异常日志检测方法、装置、电子设备和存储介质。

背景技术

随着5G(the 5th generation mobile communication，第五代移动通信)、物联网和大数据时代的到来，企业信息化系统迎来爆发增长，运维日志千变万化，运维人员面临的运维压力越来越大。

在网络运维中心，运维工程师们每天将要面对成千上万条日志数据，传统的运维方式是基于人为经验判定日志是否异常的方法，以及简单的基于固定规则的日志异常判定方法。

然而，基于人为经验无法准确地识别异常日志，基于人工规则的方法也经常会出现误判，导致其他问题的出现，此外基于人工规则的判定体系，需要投入大量的人力和物力维护成本。

发明内容

本发明提供一种异常日志检测方法、装置、电子设备和存储介质，用以解决现有的异常日志检测方法可靠性差、错误率高的问题。

本发明提供一种异常日志检测方法，包括：

确定待检测日志的日志特征；

基于异常检测模型，对所述日志特征进行多种不同算法下的异常检测，并对多种不同算法下的检测结果进行加权融合，得到异常检测结果，所述加权融合的权重是基于所述待检测日志中包含领域关键词的数量确定的；

所述异常检测模型是基于样本日志的日志特征及其异常标签训练得到的。

根据本发明提供的一种异常日志检测方法，所述加权融合的权重是基于如下步骤确定的：

基于所述样本日志中包含的日志分词的总数、预先设定的领域关键词的总数，以及所述待检测日志中包含领域关键词的数量，确定各算法的算法权重；

基于各算法的算法权重，以及各算法下进行异常检测的准确率，确定所述加权融合的权重。

根据本发明提供的一种异常日志检测方法，所述多种不同算法包括逻辑回归算法和catboost算法；

所述基于所述样本日志中包含的日志分词的总数、预先设定的领域关键词的总数，以及所述待检测日志中包含领域关键词的数量，确定各算法的算法权重，包括：

基于如下公式确定各算法的算法权重：

式中，μ_逻辑回归和μ_catboost分别为逻辑回归算法和catboost算法的算法权重，N＝n+k，n为所述样本日志中包含的日志分词的总数，k为预先设定的领域关键词的总数，p为所述待检测日志中包含领域关键词的数量。

根据本发明提供的一种异常日志检测方法，所述异常标签是基于如下步骤确定的：

确定各样本日志的日志特征；

对各样本日志的日志特征进行聚类，得到多个日志簇；

获取各日志簇的人工标签，将人工标签作为对应日志簇内各日志特征对应样本日志的异常标签。