[发明专利]一种基于并行分布式架构的复杂事件处理的方法

说明书

技术领域

本发明属于网络安全技术领域，特别是一种网络安全事件实时关联分析引擎基于分布式并行架构的实现方法。

背景技术

安全信息和事件管理系统技术为安全相关信息提供一个综合的视角。安全信息和事件管理系统作为安全信息和事件的最终汇总，并对其进行实时分析，其所处的位置居于整个安全防御系统的核心中央。目前的安全信息和事件管理系统已经广泛扩展了事件监控能力，包括主动安全事故监控管理，被动日志自动收集管理。

当前的安全信息和事件管理系统的关联分析引擎是一个集中式的解决方案，随着接入安全信息和事件管理系统的日志源增加，其收集到的数据增长速度已经远快于其关联分析引擎的计算能力提升速度。

目前安全信息和事件管理系统在面对收集数据的增加，主要采取三种思路：第一种思路是改进现有安全信息和事件管理系统关联分析引擎的处理能力，比如采用复杂事件处理技术改进关联分析引擎，该种方案可以暂时缓解关联分析引擎计算能力不足的问题；第二种思路是对未来得及处理的安全信息和事件先缓存，以等待进一步的分析，该种方案的好处是安全信息和事件不会被遗漏；第三种思路是对安全信息和事件采取QoS(服务质量控制)策略，对定义认为无效的事件做丢弃处理，该种方案的好处是对安全信息和事件可做快速的响应。从安全的角度出发，以上三种思路都有缺陷：

采取复杂事件处理技术，增强安全信息和事件管理系统关联分析引擎的技术能力，相比以前，增加了一定的关联分析计算能力的，但是这种增加无法赶上计算数据的增加速度，无法完全改善关联分析引擎的计算能力；

采取缓存技术，可保证安全信息和事件不会丢弃，保证分析的全面性，但是无法满足安全发现的及时性，延后的分析结果对安全处置几乎无太多用处；

采取QoS策略，可保证安全信息和事件的即时关联分析，并作出即时响应，但是丢弃的事件规则是人依据已有的知识制定的，可能会因此遗漏关键的安全事件，导致分析结果不完全。

发明内容

本发明是为了解决以上三种思路的困境，提出一种基于并行分布式架构的复杂事件处理方法，即结合复杂事件处理技术、分布式技术以及并行技术，以分布式并行的复杂事件处理引擎替代当前集中式的处理引擎，以彻底解决当前解决方案面临的技术困境。

本发明结合复杂事件处理技术的特点，把复杂事件处理技术对事件进行处理的操作分解成几个元操作，并把元操作分为两类：无状态操作和有状态操作。所谓无状态操作，即对后面的事件的处理操作和前面的事件的处理操作无关联。所谓有状态操作，对后面事件的处理操作需要依据结合前面事件的处理操作进行处理操作，通过滑动窗口实现。划分的无状态操作包括：映射、转换操作，过滤操作，联合操作；有状态操作包括：聚合操作，连接操作。

本发明方法的流程如图1所示。

本发明方法的具体步骤如下：

步骤1：获取用于关联分析的查询语句；

步骤2：把查询语句按照上文定义的有状态操作和无状态操作分解成一串操作序列；

步骤3：按照有状态操作把操作序列(查询语句)分解成子操作序列(子查询语句)，即有多少个有状态操作就划分成多少个子操作序列。其中划分的第一个子操作序列至少包括无状态的操作，可以仅由无状态的操作组成，且该子操作序列包含了第一个有状态操作之前的所有无状态操作。包含有状态操作的子操作序列其第一个操作一定是有状态操作，该子操作也包含下一个有状态操作之前的所有无状态操作。

步骤4：依照步骤3查询语句划分成子查询的数量，把集群按照该数目等分成相同数量的子群，把查询语句按照步骤2划分成的子操作序列分布式部署到划分好的每个子群上，子群中的每个机器都部署相应的子操作。

本发明结合复杂事件处理技术把关联分析的查询语句分解成由有状态操作和无状态操作组成的操作序列，按照每个子查询至多有且仅包含一个有状态查询的原则把操作序列进行拆分，并且按照拆分的数目把集群等分成几个子集群，然后把子查询部署到相应的子集群。这样部署到不同子群的不同子操作序列之间可以并行计算，部署到同一个子群的不同机器的同一个操作也可以并行计算。即不同查询之间是并行的(查询间并行)，相同查询之间也是并行的(查询内并行)；查询内并行不仅包括不同操作之间是并行的(操作间并行)，而且相同操作之内也是并行的(操作内并行)。即每个操作都是并行，这样即可解决查询计算遇到的节点性能瓶颈问题。

附图说明

图1是本发明流程图。

图2查询语句分解

图3操作序列划分

图4查询部署

具体实施方式