[发明专利]基于日志工作流挖掘的分布式系统异常检测方法

说明书

本发明公开了一种基于日志工作流挖掘的分布式系统异常检测方法，主要解决在海量非结构化分布式系统日志中系统异常检测困难的问题。方案包括：1)对分布式系统产生的日志进行解析，提取日志中事件模板并挖掘日志事件之间的时序关系；2)构造系统单进程FSM模型，并利用进程间的通道对每个进程对应的FSM进行整合得到工作流图；3)对工作流图进行抽象处理，根据时序关系对其进行检查，将不符合实例之间时序关系的部分进行修改，得到最终工作流图模型；4)使用基于Top‑K池化机制的图卷积神经网络模型对最终工作流图进行图分类以识别异常的工作流图。本发明能够针对分布式系统海量非结构化日志实现异常检测，且有效提高了检测准确率。

技术领域

本发明属于信息安全技术领域，进一步涉及异常检测方法，具体为一种基于日志工作流挖掘的分布式系统异常检测方法，可用于主流分布式系统的异常检测和识别。

背景技术

分布式系统能够动态分布任务并进行全局管理，具有极高的容错性、可扩展性和资源共享性，广泛运用于云计算等平台，服务于众多大数据应用平台。计算需求的增加促使分布式系统进行任务协调的计算机节点数量呈现大幅度增加，并且分布式系统具有复杂的系统结构和功能，这将直接导致分布式系统异常和故障发生概率的显著增加，一旦系统出现异常，将会给服务商以及客户带来巨大的损失。其中分布式系统的下述特征是导致分布式系统产生异常普遍原因：①分布式通信协议多种多样,计算需求庞大。分布式系统并行处理海量任务，庞大的计算需求导致通信方式的多样化，同时对分布式系统的数据处理能力带来巨大的压力，节点之间存在一定的通信错误与数据丢失现象。②分布式系统计算节点数量庞大。大量的计算节点在复杂的任务执行过程中出现故障的概率增大，表现为分布式系统服务器节点出现宕机和“僵死”现象。③分布式系统架构复杂，组件种类繁多。复杂的功能导致分布式系统的架构变得复杂，并且需要众多的组件支持相应的分布式服务，大量的计算节点之间资源共享，一旦组件或节点之间存在安全漏洞，非常容易被黑客攻击导致分布式系统瘫痪和数据泄露。

异常检测技术是能够保证系统安全的关键一步，在大多数异常检测技术当中，系统日志被广泛应用于异常检测当中，其主要原因是系统的日志记录了系统执行流程、系统状态信息以及各种突发事件的记录等能够为异常检测提供信息来源的重要数据。现阶段的研究方法为了缩小低等级的日志和上层人类可理解的图表及语言之间的差异，采用构造工作流的方式来对系统运行状况进行建模，其中系统日志是构造工作流的重要数据来源。然而目前通过分析分布式系统日志进行异常检测还存在一些难点，首先分布式系统产生的日志体量庞大，甚至达到每小时吉比特字节的数据，其次分布式系统不同的组件设备之间产生的日志涉及不同方面的信息，产生的非结构化日志具有多样性的特点，此外分布式系统的资源共享性导致分布式系统产生的日志分散难以进行处理，这些都给异常检测带来了巨大的困难。

发明内容

本发明目的在于针对上述现有技术的不足，提出一种基于日志工作流挖掘的分布式系统异常检测方法，解决现有技术针对海量非结构化日志解析难、利用难、异常检测无法利用日志之间存在的空间特征等问题。本发明能够利用工作流图挖掘分布式系统日志间的信息空间结构，有效提高分布式系统日志异常检测的准确率。

实现本发明方案的思路是：首先通过日志解析提取出日志中事件的模板，并挖掘日志事件之间的时序关系；然后通过将分布式系统日志提取构造工作流图，利用时序关系对图模型检查，再将事件转移时间转化为时间向量作为图中边的权重，接着对子图进行融合，实现对分布式系统的状态和执行轨迹的准确反映；最后通过图卷积神经网络对工作流图的信息空间结构以及节点特征和图结构信息进行提取和训练，最终实现工作流图的异常检测。

本发明实现上述目的具体步骤如下：

(1)对分布式系统产生的日志进行解析，将非结构化日志转化为结构化日志，提取日志事件模板；

(2)基于线性时态逻辑LTL挖掘系统运行过程中事件之间的时序关系，即时间不变量；

(3)对结构化的分布式系统日志构造工作流图，实现如下：