[发明专利]一种数据抓包存储方法及设备

说明书

本发明公开了一种数据抓包存储方法及设备，该方法包括以下步骤：A、抓取数据；B、分析数据包并预警；C、判断对应存储介质的状态，若该存储介质存在已拔出、冻结、无存储空间任一情况时，则将数据包存储到其他存储介质上并标记；若该存储介质不存在上述情况，则将数据包存储在该存储介质。在数据存储时，对存储介质状态进行判断，避免存储介质存在已拔出、冻结、无存储空间时出现数据丢失的情况，保证数据的完整性。

技术领域

本发明涉及数据抓包技术领域，具体涉及一种数据抓包存储方法及设备。

背景技术

在相关技术中，从网口抓取数据包并保存到硬盘，然后分析这些数据包，是一种常见的数据分析手段。

现有的抓包设备是对多个硬盘存储空间进行判断和管理，对每个抓取到的数据包信息采用连续存储的方式存储到磁盘上，当一个磁盘存满后会继续往下一个磁盘进行存储。采用这种方法存在以下问题：数据包与存储介质具有一一对应关系，某个存储介质若出现了问题，抓取的数据包将会丢弃，其中丢失的很有可能存在关键性的数据信息，导致数据链被断开、不连续，没有完整的证据链，无法还原事件，影响证据和数据的分析。

发明内容

本发明为了解决上述技术问题提供一种数据抓包存储方法及设备。

本发明通过下述技术方案实现：

一种数据抓包存储方法，包括以下步骤：

A、抓取数据；

B、分析数据包并预警；

C、判断对应存储介质的状态，若该存储介质存在已拔出、冻结、无存储空间任一情况时，则将数据包存储到其他存储介质上并标记；若该存储介质不存在上述情况，则将数据包存储在该存储介质。

本方案的数据抓包方法在数据存储时，对存储介质状态进行判断，避免存储介质存在已拔出、冻结、无存储空间时出现数据丢失的情况，保证数据的完整性。

作为优选，步骤B具体为：

配置规则任务需要匹配的关键字、预警的IP域名、所属国家；

将抓包的数据存入内存池中，采用多线程队列对每个数据包进行报文分析、规则分析和匹配，上传后台实现预警；

后台对数据信息进行分类，对数据的预警信息进行统计和归类，确定数据存储的存储介质位置。

作为优选，数据包抓取后还包括以下步骤：

采用冒泡排序Bubble Sort和插入排序Insertion Sort算法对收到的上行数据包和下行数据包进行时间戳排序；

利用并发安全地图Cocurrent Safe Map算法对收到的数据包进行锁定，存储到内存中，进行数据包头的字段解析，解析出IP、域名和分析数据包内容，同时写入到磁盘缓存中，再异步写入数据库，保存数据包的完整性和准确的时间戳，为后期做数据包关联分析提供支撑；

释放掉并发安全地图Cocurrent Safe Map中数据包字段元素，达到高效的内存管理，能够快速的进行实时抓包解析和分析处理对数据包的IP地址和域名信息进行识别和分类。

现有的数据包的接收过程中，上行数据和下行数据是是分开接收的，会出现乱序问题，不能同步解析数据包中的内容，存在分析延迟，内存消耗大，匹配效率低的问题。本方案采用Bubble Sort和Insertion Sort算法对数据包进行时间排序，用Cocurrent SafeMap算法进行内存管理，实现快速解析和分析，提高匹配效率。

一种数据抓包存储设备，包括：

用于接收数据包的接收模块；

实现数据包内容分析的分析模块；