[发明专利]一种动态激活与调整的日志解析方法和系统

说明书

本发明公开了一种动态激活与调整的日志解析方法，包括如下步骤：A、解析规则列表定义；B、接收日志；C、步骤B得到的日志与激活的的解析规则列表匹配；D、更新匹配规则信息；E、步骤B得到的日志与解析规则列表匹配；F、更新激活的解析规则列表；G、调整激活的解析规则列表。本发明能极大地降低日志解析的难度、复杂度。

技术领域

本发明涉及日志审计、安全管理技术领域，尤其涉及一种动态激活与调整的日志解析方法和系统。

背景技术

随着信息技术的不断进步和越来越广泛的应用，每个组织中可能部署了大量的IT设备，甚至可以达到几百台上千台。这些日志源资产都会生成大量的日志，这些日志能够为组织提供宝贵的信息。

既然这些数据如此的有用，怎么进行日志分析，这并不是一个简单的问题，日志包含了成千上万种可能的格式和数据，“分析”更是难以定义；当前大部分的日志审计产品、安全管理产品采用了固定的日志解析规则对日志进行解析；基于固定的日志解析规则的方式对日志进行解析，在日志种类较少，并且解析规则较少的情况下，这种方式是可行的，但是如果存在几十，上百种不同的设备，产生几千、上万种日志格式，对应这么多的日志解析规则采用固定的日志解析规则方式进行解析，就会变得很低效。

另一方面，应用日志、主机日志、中间件日志的格式是可以配置的，每个组织可能会根据自己的需要，进行了不同的配置。

所以基于庞大的固定的解析规则方式，使得日志解析的效率更低。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种能极大地降低日志解析的难度、复杂度的日志解析方法及其日志解析系统。

为解决上述技术问题，本发明的解决方案是：

一种动态激活与调整的日志解析方法，用于对日志进行解析，具体包括下述步骤：

A、解析规则列表定义：搜集并整理完整的解析规则列表，生成一个完整的解析规则列表，此列表庞大、全面；

B、接收日志：接收日志源资产生成的日志，逐条解析；

C、步骤B得到的日志与激活的的解析规则列表匹配：步骤B中得到的日志优先与激活的解析规则列表匹配，如果匹配成功则得到匹配规则信息后进行解析处理；

所述激活的解析规则列表是指在日志解析过程中，在某个时间周期内匹配次数较高的解析规则集合，此集合的长度是可配参数；激活的解析规则列表包含于步骤A得到的解析规则列表。

D、更新匹配规则信息：步骤C匹配成功后，匹配的解析规则匹配次数累加1次。

E、步骤B得到的日志与解析规则列表匹配：步骤C如果匹配失败，步骤B得到的日志则与步骤A得到的解析规则列表匹配，匹配成功则得到匹配规则信息后进行解析处理，匹配失败则作为未知日志类型处理。

F、更新激活的解析规则列表：激活步骤E中匹配成功的解析规则，将此规则信息加入到激活的解析规则列表、匹配次数累计1次。

G、调整激活的解析规则列表：周期性依据匹配次数对激活的解析规则进行排名，根据排名和列表长度调整激活的解析规则列表。

所述周期是可配置的时间参数。

所述列表长度是指激活的解析规则列表长度，此长度是可配参数。

提供基于一种动态激活与调整的日志解析方法的日志解析系统，包括解析规则列表定义模块、日志接收模块、激活的解析规列表则匹配模块、匹配规则信息更新模块、解析规则列表匹配模块、激活的解析规则列表更新模块、激活的解析规则列表调整模块；

所述解析规则列表定义模块用于搜集、整理、配置解析规则，得到完整的解析规则列表。