[发明专利]无缝衔接的内核数据包捕获技术

摘要

本发明涉及无缝衔接的内核数据包捕获技术。本技术的操作步骤包括：(1)向内核注册网络中间层驱动；(2)在网络中间层驱动中分块缓存数据包，并且把分块数据存储在队列当中，每一块数据缓存设定为2M大小；(3)当数据流量峰值超过数据包写入磁盘速度时，数据存储队列将会自动的从系统申请内存已满足存储需要，当数据流量峰值恢复后，长时间未被使用的数据缓存块将会被释放，数据存储队列将根据数据流量的大小进行自动调整；(4)在内核中开启一个线程从缓存队列中读取分块数据，当超过指定数据包个数时将这些分块的数据缓存按顺序写入磁盘文件；(5)将分块数据按PCAP文件格式写入磁盘。

主权项

无缝衔接的内核数据包捕获技术，其特征主要表现在内核无缝衔接的数据包捕获核心实现过程：(1)向内核注册网络中间层驱动；(2)在网络中间层驱动发送与接收数据处理接口函数中，分块缓存数据包，并且把分块数据存储在队列当中，每一块数据缓存设定为2M大小；(3)当数据流量峰值超过数据包写入磁盘速度时，数据存储队列将会自动的从系统申请内存已满足存储需要，当数据流量峰值恢复后，长时间未被使用的数据缓存块将会被释放，减少系统资源占用，数据存储队列将根据数据流量的大小进行自动调整，无缝衔接，保证数据包顺利存储，规避因为内存池被占用而发生丢包的现象；(4)在内核中开启一个线程从缓存队列中读取分块数据，当超过指定数据包个数时将这些分块的数据缓存按顺序写入磁盘文件，写入完成后将分块缓存区置为可用状态，以便之后新的数据到来时可以重复使用这些缓存区，减少内存分配与释放的资源消耗，提高数据的存储效率；(5)将分块数据按PCAP文件格式写入磁盘，至此，从网络接口到数据缓存再到磁盘文件的数据包捕获过程达到了无缝衔接；其具体操作步骤如下：(1)向内核注册网络中间层驱动①创建好带有数据包捕获功能的网络中间层驱动；②在网卡驱动程序与协议驱动程序之间注册并安装数据包捕获功能的中间层驱动程序；(2)数据包缓存①没有新的缓存：在网络中间层驱动回调函数中获取到网络数据包，接着在分块缓存队列中查找是否有可用的缓存供当前数据包存储，如果没有，申请一块新的2M大小的内存，将当前数据包存储在这块缓存当中，并且将新申请的分块内存加入到分块缓存队列当中；②存在新的缓存：在分块缓存队列中查找是否有可用的缓存供当前数据包存储，如果存在，就将当前数据包写入到这块缓存中；(3)无缝衔接①数据流量峰值超过存储速度：当网络流量峰值超过数据包写入磁盘速度时，缓存队列将会向系统以当前缓存队列倍数大小申请新的内存以供数据存储，不因为流量过大而出现数据包被丢弃；②数据流量恢复正常：当流量大小恢复正常速度时，系统会将之前流量峰值时新增的缓存块写入磁盘文件，同时检测长时间未被使用的缓存块并进行资源释放，当流量缓存不够时又重新申请，达到数据包缓存与网络接口无缝衔接，使数据存储保存良性循环；(3)数据包存储①数据包写入文件：当数据包接收个数超过指定的阈值时，将所有的分块数据写入到磁盘文件当中，然后重置这些分块缓存为可用状态，减少内存分配带来的系统开销，提高数据存储效率；数据包写入磁盘文件按照PCAP文件格式存储，每一个PCAP文件都有一个全局头，然后跟着是N(N＞＝0)个数据包组成的。每个数据包又分为包头和包数据部分，其中数据包头中包含有该数据包被捕获的时间，数据包被捕获时间的微秒数，数据包实际抓获并保存在文件中的长度以及数据包在网络中出现的长度；(4)将分块数据按PCAP文件格式写入磁盘①生成全局PCAP文件头：全局头包含4字节标识位，2字节主版本号，2字节次版本号，4字节区域时间，4字节精确时间戳，4字节最大数据包长度，4字节链路层类型，总计24字节写入PCAP文件头；②生成每一个数据包包头：包头包含4字节时间戳、4字节当前分组长度、4字节数据包长度，接着是抓取到的数据包内容。