[发明专利]基于日志工作流挖掘的分布式系统异常检测方法

权利要求书

1.一种基于日志工作流挖掘的分布式系统异常检测方法，其特征在于，包括如下步骤：

(1)对分布式系统产生的日志进行解析，将非结构化日志转化为结构化日志，提取日志事件模板；

(2)基于线性时态逻辑LTL挖掘系统运行过程中事件之间的时序关系，即时间不变量；

(3)对结构化的分布式系统日志构造工作流图，实现如下：

(3.1)对经过解析的结构化日志构造单进程的有限状态机FSM模型：

将系统日志中存在的多个并行任务称为轨迹，每个轨迹中不同对象具有不同的进程，设一篇系统日志L由h个进程生成，分别对这些进程构造有限状态机模型，得到第i个进程P_i对应的有机状态机F_i：

F_i＝＜Q_i,E_i,δ_i＞，

其中，i＝1,2,...,h，Q_i表示输入日志构造的有限状态机F_i中所有状态的集合，E_i表示进程P_i中所有事件实例的集合，δ_i表示进程P_i的转化函数；

(3.2)提取进程之间的通道，通过进程之间发送和接收信息的途径使进程之间产生交互，利用进程间的通道对每个进程对应的有机状态机进行整合，生成FSM模型F：

F＝＜Q,E,Δ,M＞，

其中，Q表示输入日志的FSM中所有状态的集合，E表示日志L中所有事件实例的集合，Δ＝{δ_i|P_i∈L}表示日志L中转化函数的集合，M＝{c_ij|P_i,P_j∈L}表示第i个进程与第j个进程间通道c_ij的集合，j＝1,2,...,h,且i≠j；

(3.3)将生成的FSM模型进行转换，得到工作流图G：

G＝(V,E)，

其中，表示G的节点集合，表示G中第i个节点v_i指向第j个v_j的有向边的集合；为正整数；

(4)对工作流图G按照如下步骤进行改进：

(4.1)对工作流图G进行抽象处理，去除冗余部分，即将一组事件实例的序列作为一个整体的状态，对多组相同的事件实例序列进行归并，形成一个新的抽象状态，针对所有事件构造得到一系列抽象状态，获取状态之间的关系；

(4.2)利用步骤(2)挖掘的时间不变量对对构造的工作流图G进行检查，针对不符合实例之间时序关系的部分进行修改，得到最终工作流图模型；

(5)将异常检测视为二分类任务，即正常类或异常类，使用基于Top-K池化机制的图卷积神经网络作为异常检测模型，通过提取图中节点的嵌入表示和图的结构信息对最终工作流图模型执行图分类任务，实现对分布式系统日志的异常检测。

2.根据权利要求1所述的方法，其特征在于：步骤(2)基于线性时态逻辑LTL挖掘系统运行过程中事件之间的时序关系，是挖掘系统运行过程中事件之间的时序关系常量，该常量由实际的系统日志中记录挖掘得到，当模型中存在不符合常量的时序关系时，将其剔除；将日志中事件实例的时序关系用符号来表示，令t₁表示第一事件e₁在日志中被记录的时间，t₂代表第二事件e₂被记录的时间，e₂∈T_i,对于事件实例m_i∈P_i,n_j∈P_j共挖掘得到如下三种常量关系：

其中，m_i表示进程P_i中的事件实例，n_j表示进程P_j中的事件实例，表示任意，表示存在,表示不存在。