[发明专利]一种数据处理方法及系统

说明书

本发明公开了一种数据处理方法，该方法包括以下步骤：将采集的信息数据作为日志数据存储在消息系统；读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树；依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；根据所述告警事件信息以及安全事件信息，对规则配置信息进行动态调整。通过本方案，使得架构先进，技术稳定，兼容性高；支持大数据量情况；规则体系可配置性高。

技术领域

本发明涉及数据安全领域，尤其涉及一种基于流处理规则引擎的数据处理方法及系统。

背景技术

企业内部复杂的安全系统以及随外部条件不断变化的安全业务规则，要求将数据统一存储并能够有效分离业务逻辑和应用开发者的技术决策。规则引擎可以实现对系统数据的纵向、横向校验以及表与表之间的逻辑关系校验，作为一个独立的模块，可以适应不同的业务模型，以应对动态变化的环境。

近年来，商业银行的信息安全风险事件时有发生，信息技术在推动中小商业银行业务创新和转型变革的同时,也给银行带来了极大的风险，已经成为影响银行稳健运营的重要风险因素。目前商业银行信息安全风险管理方面所面临的突出问题有：外部攻击更加多样化；外部的攻击更为集中；现有的安全、审计措施难以适配大数据环境下的业务发展需求；风险评估标准和指标体系的缺失。

针对银行所面临的关键问题开展研究，需要实现基于大数据的网络安全态势感知技术，全面提升信息安全的防护水平。

如图1，是现有技术的大数据分析处理的一个方案，其包括以下步骤：

步骤1，数据规则开始；

步骤2，初始化规则对象；

步骤3，判断是否已经将数据规则加载至内存，如果已经加载，则跳转至步骤4，否则从规则库将数据规则加载至内存，跳转至步骤4；

步骤4，执行规则对象；

步骤5，输出执行结果；

步骤6，执行结束。

上述数据规则预先定义好发送至规则库，并在执行规则对象过程中调用数据规则。

上述规则引擎技术虽然具备对大数据一定的处理能力，但是其没有基于流处理设计的机制，缺少应对不同大数据情况的能力，同时缺乏配置扩展能力，导致性能以及易用性不佳。

发明内容

为解决上述技术问题，本发明提供了一种数据处理方法，其特征在于，该方法包括以下步骤：

将采集的信息数据作为日志数据存储在消息系统；

读取消息系统中的日志数据，对所述日志数据进行归类处理，并结合策略树缓存以及其他缓存信息，封装成策略树；

依据规则配置信息以及策略树缓存的策略信息，生成告警事件信息以及安全事件信息；

根据所述告警事件信息以及安全事件信息，对规则配置信息进行动态调整。

根据本发明的方法，优选的，所述将采集的信息数据作为日志数据存储在消息系统是指：

将采集的信息数据作为日志数据存储在Kafka分布式消息系统中，该Kafka分布式消息系统包括以下日志数据：用户/机构数据、业务数据、安全数据、运维数据；所述日志数据包括日志数据：主机日志、网络日志、安全日志、应用日志。

根据本发明的方法，优选的，所述规则配置信息通过以下方式产生：

根据采集的数据信息，通过一定的逻辑运算定义为指标数据，指标数据由标准元数据和计算元数据构成；

根据时间窗口以及各类场景，将指标数据转化为规则模型，同时将规则模型写进规则库供调用。