[发明专利]一种自动化日志异常检测方法及系统

说明书

本发明公开一种自动化日志异常检测方法及系统，属于数据处理领域。所述包括：对原始日志数据进行预处理得到第一日志数据集；对第一日志数据集分组得到多个第二日志数据集，对各第二数据集进行特征提取得到对应的各特征集合；根据无监督异常点发现算法及异常操作指令在各第二日志数据集中发现对应的日志异常点；对各特征集合和对应的日志异常点进行训练，得到对应的各有监督机器学习分类模型；选取与待检测日志数据对应的有监督机器学习分类模型对待检测日志数据进行检测，得到日志异常检测结果。本发明中，克服了现有异常检测方法中判别准确性和泛化能力较低、对训练样本中未出现的故障无法预警以及需要耗费极大的时间成本和人工成本的缺陷。

技术领域

本发明涉及数据处理领域，尤其涉及一种自动化日志异常检测方法及系统。

背景技术

随着技术的快速发展，移动通信系统变得越来越复杂，系统的运营与维护由于需要大量的时间成本、人力成本，已逐渐成为各大移动通信网络运营商的主要支出。因此，实现电信网络设备的自动化异常检测与故障预警，是运营商实现利益最大化的重要途径，并已成为近些年移动通信领域中研究的热点。

目前的电信网络设备中，通常存在较为完善的日志记录模块，用于记录诊断日志、操作日志、系统日志等，由于电信网络复杂度的不断提高，目前这些日志数据呈现出以下特点：(1)数据量较大，某运营商的中等省份网络数据产生速率能达到每天9亿条，占据200GByte空间；(2)结构复杂，日志数据设备厂家来源众多，没有标准日志格式模板；(3)正负样本不均，网络告警时期的数据样本占总样本比例低；(4)故障类型多样，单种故障数据样本少，且存在样本中未出现的故障。

由于日志数据是电信网络安全状态重要的信息来源，因此其对网络故障预警具有重要意义。当前利用日志数据进行故障预警的方法有很多，主要包括：统计学方法、基于机器学习的方法以及基于专家知识的异常检测方法。其中，统计学方法适用于正常行为统计模型，通过对测试数据进行测试，给出异常分数，如果异常分数高于一个阈值，则认为是异常点；该方法在设置恰当的阈值以及调整好参数的前提下，可以提供较准确的预测。基于机器学习的方法，主要包括分类算法和聚类算法；其中，分类算法是一种有监督的机器学习算法，其必要前提是训练集包含的分类数据所属类别是已知的；而聚类算法是一种无监督的机器学习算法，通常是基于距离对样本数据进行聚类，识别出异常点，但此种方法存在对训练样本中未出现的故障无法预警的缺陷。基于专家知识的异常检测，又称为专家系统，专家系统是以规则为基础，利用预定义的规则对测试数据进行匹配，并可以不断获取知识，进入一个更高的置信区域，根据分数阈值，判定异常行为。同时，基于机器学习与专家知识相结合的方法在计算机数据管理技术领域也同样有所应用，其是基于系统的源代码分析，对程序的运行日志提取与性能相关特征向量，并结合机器学习算法和专家知识，有效检测和诊断程序的常见性能异常。

目前，上述方法均有实际的应用，并且存在相关的专利申请；其中，基于统计学原理来进行故障预警的技术方案可参见申请号为CN201410191589.8、CN201510765610.5和CN201611213764.4的专利；基于机器学习进行故障预警的技术方案可参见申请号为CN201610125901.2和CN201611232408.7的专利；基于知识的异常检测技术方案可参见申请号为201510180528.6的专利；基于机器学习方法与专家知识相结合的技术方案可参见申请号为CN201610312729.1的专利。