[发明专利]一种APT智能检测分析平台中的白数据过滤方法及系统

说明书

技术领域

本发明涉及网络安全领域，尤其涉及一种APT智能检测分析平台中的白数据过滤方法及系统。

背景技术

随着黑客攻击行为的组织性、趋利性越来越强，APT(Advanced Persistent Threat，高级持续威胁)已经成为了政府和各大企业信息系统最严重的威胁。宏观网络安全监控具备监控范围广、涉及重点单位多的特点，是检测APT攻击的理想环境。APT检测的难点在于攻击者的行为是在一个时间窗内展开的，而传统的入侵检测设备是基于时间点的实时检测，缺少检测上下文环境的支持。为了实现对APT攻击的检测，需要以网络流存储为基础，建立面向APT攻击的智能检测分析平台。

基于流存储的APT攻击解决方案是一种全新的攻击检测模式，最佳检测方案是在出现可疑行为(例如未知的外部连接、异常加密通信等)后，能够回溯到之前的历史流量中进行深度分析，而传统的入侵检测设备只能支持对实时流量的检测，也缺乏历史流量数据的支持。因此，APT检测的核心在于对历史流量的存储和分析能力，但假如存储的历史数据越来越多，将会给后续分析带来困难。

发明内容

本发明要解决的技术问题是如何合理降解过滤存储的历史数据。

为了解决上述问题，本发明提供了一种高级持续威胁智能检测分析平台中的白数据过滤方法，包括：

对存储的历史流量数据中的各抓包库Pcap数据包分别进行协议解析，得到各Pcap数据包的控制信息及数据；

按照预定的白数据过滤条件生成过滤规则；

将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配，如果一Pcap数据包的控制信息满足所述过滤规则，则删除该Pcap数据包的控制信息及数据；

删除后将其余的数据及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。

进一步地，对存储的历史流量数据中的各Pcap数据包分别进行协议解析，得到各Pcap数据包的控制信息及数据的步骤包括：

对存储的历史流量数据中的各Pcap数据包，分别按照网络协议结构，按照数据帧层、以太层、IP层、TCP/UDP层、应用协议层的顺序解析出该Pcap数据包各层的数据和控制信息。

进一步地，所述预定的白数据过滤条件包括对每一层设定的不同的白数据过滤条件；所述按照预定的白数据过滤条件生成过滤规则时对过滤条件进行排列组合，生成完整的过滤规则的逻辑表达式。

进一步地，所述解析出的各Pcap数据包的控制信息包括：

源地址、源端口、目的地址、目的端口、协议类型及到达时间。

进一步地，对存储的历史流量数据中的各Pcap数据包分别进行协议解析，得到各Pcap数据包的控制信息及数据的步骤包括：

对于各Pcap数据包分别进行下述处理：

解析出Pcap数据包头中的控制信息和包中的以太网协议数据包，从控制信息中获得Pcap数据包的到达时间；

解析出以太网数据包中以太网层的控制信息和IP数据包，并从控制信息中判断以太网上的协议类型；

解析出IP数据包中IP层的控制信息和TCP/UDP数据包，从控制信息中获得源地址、目的地址，并判断是否有上层封装协议及协议类型；

解析出TCP/UDP数据包中TCP或UDP层的控制信息和应用协议数据包，从控制信息中获得源端口、目的端口，并判断是否有上层封装协议及协议类型；

解析应用协议数据包，并按照应用协议格式获得应用协议数据包中的应用数据内容。

本发明还提供了一种高级持续威胁智能检测分析平台中的白数据过滤系统，其特征在于，包括：

协议解析模块，用于对存储的历史流量数据中的Pcap文件分别进行协议解析，得到各Pcap数据包的控制信息及应用数据内容；

规则生成模块，用于按照预定的白数据过滤条件生成过滤规则；

数据删除模块，用于将解析出的各Pcap数据包的控制信息与所述过滤规则进行匹配，如果一Pcap数据包的控制信息满足所述过滤规则，则删除该Pcap数据包的控制信息及应用数据内容；

文件操作模块，用于将删除后其余的应用数据内容及控制信息重新打包封装为Pcap数据包后发送给APT检索引擎。

进一步地，所述解析出的各Pcap数据包的控制信息包括：

源地址、源端口、目的地址、目的端口、协议类型及到达时间。

进一步地，所述协议解析模块包括：

数据帧层解析单元，用于解析出Pcap数据包头中的控制信息和包中的以太网协议数据包，从控制信息中获得Pcap数据包的到达时间；