[发明专利]一种构建日志快速匹配的方法

摘要

一种构建日志快速匹配的方法属于网络安全技术领域。本发明将日志的匹配细化到具体某个属性的匹配，大大缩短了匹配的长度，匹配粒度细；具体匹配方式支持当前已有的高性能算法（如BM算法、正则表达式算法等），匹配效率高；通过提供的接口，用户可以二次开发定制的匹配算法，可扩展性强。2）匹配前对事件进行判断，从而选择适用的策略类型，避免了所有策略统统匹配一遍的现象，大大减少了匹配的次数；3）匹配优化速度：先数字匹配后字符串匹配，进一步提高效率。4）多线程处理：匹配的过程使用线程池来完成的，多线程共享策略的链式结构，将匹配过程由传统的串行转为并行处理。

主权项

一种构建日志快速匹配的方法，其特征在于步骤如下：步骤1：接收日志，由接收线程池完成，通过对某一个或多个端口进行监听，采集日志，并放入到原始日志对象池中，等待下一步处理；步骤2：分类，由分类线程池完成，对原始日志对象池中的日志进行分类，并将其存入到分类池中，等待解析线程处理；步骤3：解析，由解析线程池完成，从分类池中提取到日志对象，并将解析后的对象即事件放入事件池中，等待进行匹配处理；解析过程中对可转为数字的属性转为数字；步骤4：匹配，由处理器完成，从事件池中读取相应的事件，根据类别进行处理，生成报警事件，并将报警事件存储告警事件池中，等待告警线程处理；步骤5：告警，由告警线程完成；告警线程从告警池中读取告警事件，一旦读出告警事件，则执行相关的告警动作；其中步骤4分为如下三步：(1)制定策略一个策略包括业务源或业务源组、业务目的或业务目的组、规则集、时间对象四个元素，策略的制定过程即为指定这四个元素内容并将这四部分进行存储的过程；概念说明：a)业务源或业务源组：业务源为用户发起访问的客户端IP地址，它对应一条日志的源IP属性，取值为单个IP、IP地址段、单个IP与IP段组合或子网的IP表示方式；b)业务目的或业务目的组：业务目的为用户访问服务器端的IP，也即对应一条日志的目的IP属性，为单个IP、IP地址段、单个IP地址和IP地址段的组合或子网的IP表示方式；c)规则集：规则集是针对某类设备日志进行的多个告警规则的集合；告警规则即是对相应设备的某一类具体操作事件制定的；d)时间对象：用于描述一个策略的生效时间；e)策略：一个业务源或业务源组、一个业务目的或业务目的组、一个规则集和一个时间对象共同构成了一条策略；(2)组装策略策略解析的过程就是解析关于业务源或业务源组、业务目的或业务目的组、时间对象、规则集以及策略的存储文件，生成针对每个策略对象的过程；a)解析策略文件组装策略是从解析策略文件开始的，通过解析策略文件，获取策略对应的业务源或业务源组、业务目的或业务目的组、生效时间以及使用的规则集；b)解析业务源或业务源组文件解析业务源或业务源组文件，生成业务源或业务源组对象；将IP地址转换为长整型数字，c)解析业务目的或业务目的组文件解析过程类似于解析业务源或业务源组文件，生成业务目的或业务目的组对象；将IP地址转换为长整型数字，d)解析规则集文件将规则集文件中的记录解析出来，生成规则集对象；e)解析规则文件将规则文件中的规则记录解析出来，生成规则对象；f)解析时间对象将时间对象中的文件解析出来，将时间对象翻译成系统可直接使用的对象；g)组装规则组装一个规则集中的所有规则，将规则之间串接起来，形成一个职责链模式；组装分为两个步骤：1)解析每个规则，将规则内容分解生成规则单元；规则的每个规则单元连接成链，形成链式结构；链式结构在连接时，需要对连接顺序进行调整，数字匹配的规则单元放在前面，字符串匹配的规则单元放在后面，每个规则单元都含有指向下一个规则单元对象的指针，这样就形成了一个链式结构，用null节点表示为尾节点；接下来，对于每个规则，生成一个规则可执行对象，它持有规则单元链的链头；2)根据规则集，将每个规则集中的规则串接起来，规则之间形成一个链；每个规则都有一个内部的链式结构，针对事件对象的相关属性进行比较，并且包含一个指向下一个规则对象的指针，当前规则的某一个比较器与被比较事件不匹配时，即立刻返回，由当前规则对象把被比较事件传递给下一个规则进行比较；h)策略组装此步骤分两步：1)将策略对象转换为可执行策略，组装策略；2)策略分类，将同一类型的策略串接起来形成链式结构；(3)执行策略执行策略是通过多线程来实现，多线程是通过线程池机制实现，多个线程之间共享此链式结构；匹配过程如下：1)判断事件类型，从而直接跳转至适合该类型的策略链；2)从该链的策略第一个策略该开始向后执行，如果策略匹配，表明此策略匹配了该事件，后续策略无需再次匹配，直接返回；如果策略不匹配则跳转至下一策略，直到所有都匹配完毕；3)策略内部的匹配，从第一个规则进行匹配，如果该规则匹配，说明该规则匹配该事件，后续规则无需再次匹配，直接返回；如果没有匹配，则跳转至下一个规则进行匹配，直至所有规则都匹配完毕；4)规则内的匹配，从第一个规则单元开始匹配，如果内部某个规则单元不匹配，表明该规则不匹配，直接返回；如果该规则单元匹配，则跳至下一个规则单元进行匹配，直至所有规则单元都执行完毕；对于符合策略的事件生成一个告警事件，放入告警池，等待下一步处理。