[发明专利]日志检测方法及系统

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种日志检测方法及系统。

背景技术

随着日志容量增大，从高度冗余的日志中通过异常检测找出值得关注的部分，对调试、诊断而言变得更加重要。关于异常检测的研究有很长历史。异常检测算法一般被用于攻击检测、网络安全等方面。现有的异常检测机制大部分是基于统计模型和马尔可夫模型，但是它们都存在各自的问题。

异常检测系统分为两个阶段：在训练阶段，为正常样本建立一个基准模型；在检测阶段，对候选样本与基准模型之间的区别进行评价。异常检测的基本技术路线有统计、机器学习和数据挖掘。统计模型和马尔可夫模型是最普遍的两种模型。其它模型如贝叶斯网络和支持向量机等在实际应用中使用较少。这些方法虽然背后有复杂精巧的数学基础，但是通常带有很多参数。在实际应用中这些参数需要调校，使用比较复杂。另外，一旦数据集发生变化，原先的参数就失效了，需要重新调校一次。

基于统计模型的异常检测机制假设检测的对象遵从某种分布。它的基本方法是：在训练阶段，根据训练集对分布的参数进行估计；在检测阶段，用确定了参数的模型和概率学上的方法估计候选样本，由该模型生成这一事件的置信度。

马尔可夫模型是异常检测领域另一种被广泛使用的方法。马尔可夫模型假设底层系统是一个马尔可夫随机过程，一个事件发生的概率仅与其前一个事件(或n个事件)有关。和统计模型不同，马尔可夫模型考虑了事件的顺序。但是马尔可夫模型受到计算开销、数据稀疏等问题的限制。最主要的问题在于，对于目标数据集，马尔可夫模型的基本假设–一个事件发生的概率仅与其前一个事件（或n个事件）有关，不一定成立。

综上所述，信息论的观点更加接近异常检测问题的本质。但是直接计算熵是不可能的，只能进行估计。一个字母表上的信源的熵可以用极限熵进行估计，可以定义G_n为长度为n的序列的信息含量。但是极限熵公式仅有理论意义。在实际使用中，需要将该公式简化。但是上文讨论过，这两种方法都不适合日志异常检测。

Shannon在其划时代的工作中揭示了无损压缩和熵之间的关系，得出重要的结论：熵是无损编码的下界，即一个理想的无损压缩编码方法得到的数据长度应该能够反映。在无损压缩方面，有很多工作利用了序列结构信息，例如应用最为广泛的LZ77算法依赖于发现和利用被压缩序列中重复的成份,文法编码则致力于寻找序列的层次结构。这些方法超越了统计模型和马尔可夫假设。

发明内容

本发明所要解决的技术问题是提供一种日志检测方法及系统，不需要设置复杂的参数，简单有效。

为解决上述技术问题,本发明提出了一种日志检测方法，包括:

采用预设的文法压缩算法，对待检测日志数据和训练集数据进行压缩；

计算压缩后所得数据的信息密度；

对所述待检测日志数据按照所述信息密度由大到小进行排列，排列后的前n个日志数据为异常数据，其中，n为预设的异常数据个数。

进一步地，上述日志检测方法还可具有以下特点，所述文法压缩算法为基本文法算法BaseTranfer，该基本文法算法BaseTranfer的算法流程包括：

将产生式集合G赋空，设待检测的日志串为x，设置返回结果集Px为空，其中Px和x满足自同态；

从日志串x中依次弹出各个符号，将弹出符号作为非终结符添加到返回结果集Px右侧;

在产生式集合G和返回结果集Px上应用产生式化简规则，直到不能化简为止，得到新产生式，并将该新产生式添加到产生式集合G中。

进一步地，上述日志检测方法还可具有以下特点，所述文法压缩算法为加入贪婪匹配后的改进文法压缩算法SeqTranfer，该改进文法压缩算法SeqTranfer的算法流程包括：

将产生式集合G赋空，设待检测的日志串为x；

日志串x非空时，扫描产生式集合G中的每一个产生式p，设置v为产生式p的左边，

若以v为输入的自同态是日志串x的前缀，将v加入到集合M中；