[发明专利]一种大规模分布式网络安全数据采集方法与系统

摘要

本发明涉及一种大规模分布式网络安全数据采集方法与系统。所述方法包括多方式数据采集，数据解析与标准化，数据分发传输。所述系统包括采集代理模块，数据采集模块，数据解析模块，数据分发传输模块。本发明在数据采集方面，采用主动、被动、数据流镜像等多种方式，实现了对各类数据的全面采集；在数据解析方面，采用基于策略的数据解析与标准化机制，通过编写解析策略，对原始数据进行抽取、映射、替换、补齐等操作，实现对新增数据格式的快速解析和面向多应用系统的数据标准化；在传输方面，采用多级衔接、多路分发技术，实现了采集系统之间弹性组合、级联部署、多路分发，满足了网络环境纵横扩展、数据信息海量采集的要求。

主权项

一种大规模分布式网络安全数据采集方法，包括以下步骤：步骤一，多方式数据采集；步骤二，数据解析与标准化；步骤三，数据分发传输；其特征在于：步骤一所述多方式数据采集采取以下4种方式：方式一：主动模式；在数据生产地部署采集代理的方法采集指定数据；采集代理工作机制为：对指定目录下的文件进行监听，按照可配置的时间间隔，对该目录下发生更新的文件进行增量读取，同时对该文件的最新读取位置进行更新和维护，避免文件中数据的重复读取；针对以数据库形式存储的原始数据，通过ODBC/JDBC通用协议获取原始事件，无需在数据生产地部署采集代理；方式二：被动模式；原始数据产生后，通过Syslog、Snmp、WebService方式发送给指定的数据接收者；对于数据采集系统，仅需要被动接收数据；方式三：来自上一级采集系统发送的数据；方式四：镜像模式；通过网络交换设备的镜像端口，接收来自网络中传输的任何网络访问流；步骤二所述数据解析采用基于策略文档的方式对日志进行解析，实现对新增设备的支持；针对每一个具体的设备或系统，收集重点关注的日志类型的典型样例制定解析策略；当信息系统中有新增设备或原有设备的日志格式发生变更时，收集新增设备的日志格式或原设备变更的日志格式制定或修改解析策略；步骤三所述数据分发传输还包括以下步骤：（1）设置分发策略：提供数据复制和数据路由两种分发模式；（2）建立数据缓存单元，分发各类数据：为每一类上层应用建立一个数据缓存单元，缓存标准化后的数据，防止数据生成过快而上层应用系统接收速率过慢导致数据丢失；（3）数据传输：提供面向关系型数据库RDB、分布式存储系统HDFS/HBASE、内存数据库Redis、下级数据采集系统的目标传输数据的功能，满足不同业务应用系统需求。