[发明专利]一种大规模分布式网络安全数据采集方法与系统

说明书

技术领域

本发明属于网络安全管理领域，涉及一种大规模分布式网络安全数据采集方法与系统。

背景技术

数据采集是网络安全管理与运维的前提条件。数据采集工具实现对网络系统中各类软、硬件资源产生的安全事件、日志信息、运行状态、系统配置、安全策略等进行全面采集、解析、清洗和标准化，转化为上层系统可识别、可管理、可交换、可共享的有用数据。

目前，在网络安全管理领域，已经有多种数据采集工具，这些工具能够有效解决某些特定环境下的数据采集和清洗任务，但是随着信息化水平的不断提升，大量的信息系统和先进的信息技术大规模部署和使用，对安全管理提出严峻挑战，同时对数据采集技术也提出了新的要求：一是支持多样化的采集方式，一套网络系统中，采用一套数据采集工具实现对不同网络安全数据的全面采集，而不是部署多套采集工具实现对不同数据源的采集要求；二是支持对多源、异构数据的快速解析和面向多标准的数据重构能力。传统的数据采集工具仅能实现对一种或几种特定格式的数据源进行解析，对新增数据格式，往往需要进行二次定制开发，也不支持面向不同的上层应用系统构建不同的数据标准需求，不能满足安全管理对信息化快速部署和动态变化的需求。三是支持动态可扩展的部署模式，数据采集工具可随着网络规模的扩大、网络层级的衍生、数据量的动态增加而进行动态组合和调整，满足网络环境复杂多变、海量安全事件信息采集需求。

发明内容

针对上述问题，本发明提出了一种大规模分布式网络安全数据采集方法与系统。在数据采集方面，采用主动、被动、来自上一级采集系统发送的数据、数据流镜像4种方式，实现了对各类数据的全面采集；在数据解析方面，采用了基于策略的数据解析与标准化机制，通过编写解析策略，对原始数据进行抽取、映射、替换、补齐等操作，实现对新增数据格式的快速解析和面向多应用系统的数据标准化；在传输方面，采用多级衔接、多路分发技术，实现了采集系统之间弹性组合、级联部署、多路分发，满足了网络环境纵横扩展、数据信息海量采集的要求。

一种大规模分布式网络安全数据采集方法，包括以下步骤：

步骤一，多方式数据采集。

步骤二，数据解析与标准化。

步骤三，数据分发传输。

其特征在于：

步骤一所述的多方式数据采集采取以下4种方式：

方式一：主动模式。在数据生产地部署采集代理的方法采集指定数据。采集代理工作机制为：对指定目录下的文件进行监听，按照可配置的时间间隔，对该目录下发生更新的文件进行增量读取，同时对该文件的最新读取位置进行更新和维护，避免文件中数据的重复读取。针对以数据库形式存储的原始数据，通过ODBC/JDBC等通用协议获取原始事件，无需在数据生产地部署采集代理。

方式二：被动模式。原始数据产生后，通过Syslog、Snmp、WebService等方式发送给指定的数据接收者。对于数据采集系统，仅需要被动接收数据即可。

方式三：来自上一级采集系统发送的数据（采集系统级联）。

方式四：镜像模式。通过网络交换设备的镜像端口，接收来自网络中传输的任何网络访问流。

步骤二所述的数据解析采用基于策略文档的方式对日志进行解析，实现对新增设备的支持。针对每一个具体的设备或系统，收集重点关注的日志类型的典型样例制定解析策略。当信息系统中有新增设备或原有设备的日志格式发生变更时，收集新增设备的日志格式或原设备变更的日志格式制定或修改解析策略。

步骤三所述的数据分发传输还包括以下步骤：

（1）设置分发策略：提供数据复制和数据路由两种分发模式。

（2）建立数据缓存单元，分发各类数据：为每一类上层应用建立一个数据缓存单元，缓存标准化后的数据，防止数据生成过快而上层应用系统接收速率过慢导致数据丢失。

（3）数据传输：提供面向关系型数据库RDB、分布式存储系统HDFS/HBASE、内存数据库Redis、下级数据采集系统等多种目标传输数据的功能，满足不同业务应用系统需求。

步骤二所述的解析策略依据数据源的形式不同有所区别，主要有两种：一种是针对以文件形式存储或以数据流形式传输的原始日志，策略文档为一系列解析正值表达式构成的XML文档；另一种是针对以数据库形式存储的原始日志，策略文档为一系列SQL语句与解析正值表达式构成的XML文档；

步骤二所述的解析策略除了具有两个传统的解析功能外，又提供了以下三个方面的功能：