[发明专利]基于分布式服务日志的通信网络信息系统异常检测方法

摘要

本发明公开了基于分布式服务日志的通信网络信息系统异常检测方法，通过发掘网络中的服务基准，找到自动异常检测时对比的案例，可以自动地对比实时日志流与开发模板，达到检测异常的目的。本发明提出了一种基于时间权重的控制流图模型的异常检测方法，通过设定的过滤方案生成了结构节点良好的CFG，并利用循环或线程之间节点的间隔无序性这一特点分割了边界，进一步优化了结构；计算出每个边的时间权重，生成了TCFG。该TCFG可以与实时TCFG流进行对比，发现异常，评估表明，此方法有着不错的精确率和召回率，在真实环境中，平均有80%的精确率和65%的召回率。

主权项

1.基于分布式服务日志的通信网络信息系统异常检测方法，包括日志解析、生成TCFG和自动检测异常三个步骤，首先，通过解析日志，得到原始日志和模板的映射以及模板，映射日志模板时，记录日志模板索引，时间戳和日志模板，然后生成TCFG，最后将在线日志流与已挖掘的TCFG模型进行比较，完成差异诊断，其特征在于，所述生成TCFG以下三个步骤，S1，CFG边挖掘，在CFG或TCFG中，节点代表日志模板；节点有一个子集，一个直接子集，一个时间权重集；子集是在时间窗口中的一组后续节点；直接子集是节点的直接继承者的集合；时间权重集是节点与其直接子节点之间的时间间隔集合；它是边权重的候选集；其中有两个关键点，一个是时间t，它跨越时间窗口的值选择；长的时间会伴随太多的噪音，而短的时间会错过一些正确的后继节点；另一点是如何计算子节点的发生次数；规则设置为在一个时间窗口中只计算一次子节点；当计算子节点的发生次数时，过滤规则用于确定节点的直接后续节点；过滤规则1旨在基于子节点的发生次数来过滤噪声；公式描述如下； P ( T c i | T n ) = M i N - - - ( 1 ) ]]>Tn表示模板节点；N是日志模板节点的出现次数；表示子节点，Mi是子节点的发生次数；笔者设定一个子节点的过滤阈值为θ；如果将会被从子集中过滤和删除；过滤器规则2旨在根据直接子节点的发生次数来选择直接后续节点；公式描述如下； P ( T d i | T n ) = Q i N - - - ( 2 ) ]]>表示直接子节点，Qi是直接子节点的发生次数；笔者设定了直接子集的过滤阈值η；如果将被从直接子集中过滤和删除；之后，可以使用公式(3)获得直接后续节点；Ss＝Sd∩Sc (3)Ss,Sd,Sc分别表示直接后续节点集，子集以及直接子集；对于每个模板节点，一旦计算出直接后续节点，就确认了节点的边；继而，所有节点及其边可以组成CFG；S2，转换流边界分割,通过计算方差来确定相邻节点之间的时间间隔是否稳定；公式(4)如下； M = t 1 + t 2 + t 3 + ... + t n n - - - ( 4 ) ]]> var = ( M - t 1 ) 2 + ( M - t 2 ) 2 + ( M - t 3 ) 2 + ... + ( M - t n ) 2 n - 1 - - - ( 5 ) ]]>当两个相邻节点之间时间间隔的方差大于阈值时，就删除这两个相邻节点之间的边；此时阈值β应该很大；之后检查CFG中是否有循环；方法是计算构成循环的所有边的方差的方差，并删除方差最大的边；S3,边时间权重计算,TCFG中每个边的时间权重表示着两个日志模板节点之间的执行时间；时间权重可用于检测异常,采用基于K均值的时间权重算法，输入为时间间隔集D＝{t1,t2,……,tm}，聚类数K＝3，输出即为时间权重；边的时间间隔列表的分布非常集中；大多数要素集中在一个领域，而其他要素则分散在其他地区；因此本专利采用K均值算法将时间间隔列表分成3组；数量最多的组被采纳；该组中最大的元素是时间权重；k均值算法的基础是最小误差的平方和；成本函数是： E = Σ i = 1 k Σ x ∈ c i | | x - u i | | 2 2 - - - ( 6 ) ]]>其中，k表示聚类分k组，ci表示第i组的元素集合，也称x是ci中的任意元素，是指一个时间间隔，表示集群ci的平均值，E是方差。