[发明专利]一种面向安全事件数据的分布式分析方法及系统

说明书

技术领域

本发明涉及计算机网络安全技术领域，尤其涉及一种面向安全事件数据的分布式分析方法及系统。 

背景技术

随着计算机的出现和普及，海量的信息以数字化形式存在于网络各处，科学数据、医疗数据、人口统计数据、金融数据等等，这些数据也吸引了大量的网络攻击。并且随着网络攻击越来越多，越来越复杂，相关的安全事件数据种类繁多，数据结构也是及其复杂的。例如一个DOS（分布式攻击）事件，其攻击IP和被攻击IP个数都是不确定的，尤其是攻击IP，可能达到成千上万个；一个病毒感染事件，其行为中会嵌套多个其他行为，这种安全事件数据使用数据库和数据仓库存储已经不能满足需要了。而且，对于海量的安全事件数据进行及时分析和处理也成了网络安全领域的一大难题。

发明内容

针对上述技术问题，本发明提供了一种面向安全事件数据的分布式分析方法及系统，根据制定的存储方案进行安全事件数据存储，并且存储与分析相互隔离，各自根据需要配置硬件设备，使得安全事件数据的存储与分析速度加快，可以及时地产生分析结果反馈给外部系统。 

本发明采用如下方法来实现：一种面向安全事件数据的分布式分析方法，包括：

接收安全事件数据；

基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求来确定存储方案，并基于所述存储方案进行安全事件数据存储；

读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

用于安全事件数据存储和用于分布式分析的硬件设备彼此分离，采用不同的硬件设备；不同的任务采用不同的硬件设备，彼此都达到性能最大化，并且随着高速网卡的普及，安全事件数据存储与分布式分析间的网络数据传输不会成为瓶颈。

方法中还包括：依据用户指令对分布式分析中涉及的任务进行增删管理和/或时序管理；可以实现外部系统与分析系统的实时交互。

方法中还包括：监控整个分析系统，如出现异常则报警。

方法中还包括根据系统配置定期清理分析系统；例如，对于分析系统运行时产生的过期日志进行自动处理。

方法中采用json格式存储安全事件数据；可以满足数组、子对象等复杂数据的描述需求。

方法中采用Map/Reduce进行分布式分析；运用基于内存的高速Map/Reduce实施分布式分析，进行数据挖掘，解析任务结果，并将解析的任务结果返回给外部。

方法中所述用于安全事件数据存储和用于分布式分析的硬件设备能够进行分布式线性扩展；即当用于安全事件数据存储或者用于分布式分析的硬件设备成为分析系统的性能瓶颈时，对相应的硬件设备单独实施分布式线性扩展；例如，扩展安全事件数据存储采用存储行服务器，扩展分布式分析所使用的硬件设备时可以采用多CPU大内存的计算型服务器。

方法中所述存储方案可以包括：相同数据多个备份或者同一数据多机分片存储；即当某台用于存储安全事件数据的服务器发生宕机，可及时启用备份服务器中存储的相关数据，为了达到一定的分析速度要求，可以将同一安全事件数据分片存储到不同的服务器中，这样存储速度会得到显著的提高。

一种面向安全事件数据的分布式分析系统，包括：

数据灌入模块，接收安全事件数据，将所述安全事件数据存入数据存储模块；

数据存储模块，基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求确定存储方案，并基于所述存储方案进行安全事件数据存储；

数据分析模块，从数据存储模块读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

所述数据存储模块与数据分析模块彼此分离，采用不同的硬件设备；彼此都达到性能最大化，并且随着高速网卡的普及，安全事件数据存储与分布式分析间的网络数据传输不会成为瓶颈。

系统中还包括：数据交互模块，依据用户指令对数据分析模块中涉及的任务进行增删管理和/或时序管理；可以实现外部系统与分析系统的实时交互。

系统中还包括：系统监控模块，用于监控整个分析系统，如出现异常则报警。

系统中还包括：系统清理模块，根据系统配置定期清理分析系统；例如，对于分析系统运行时产生的过期日志进行自动处理。

系统中所述数据存储模块采用json格式存储安全事件数据；可以满足数组、子对象等复杂数据的描述需求。