[发明专利]一种以太网报文捕获、过滤、存储、实时解析方法及系统

说明书

本发明提供一种以太网报文捕获、过滤、存储、实时解析方法及系统。该方法包括：确定需要捕获报文的以太网接口，建立以太网连接；实时监测用于设置过滤器的触发信号，一旦监测到触发信号，则根据给定的过滤规则实时创建过滤器；采用零拷贝技术实时调整多线程无锁队列容量，捕获以太网报文；将捕获的以太网报文保存为pcap文件后存储至磁盘，并根据捕获以太网报文时的时间戳对pcap文件进行命名和标号；根据时间戳和标号选择需要解析的以太网报文进行解析，将解析结果分类存储至数据库。通过采用设置过滤器信号触发机制，实时监测触发信号，结合引入的libpcap过滤规则库，可以实现过滤器的实时设置，同时大幅提高了过滤规则数目，进而大大提高了捕获效率。

技术领域

本发明涉及互联网通信技术领域，尤其涉及一种以太网报文捕获、过滤、存储、实时解析方法及系统。

背景技术

近些年，随着互联网通信技术的不断发展，通信应用也得到了前所未有的普及，传输过程中产生的流量与日俱增。现阶段以太网数据流量大多以数据包的形式传输，对日益剧增的海量以太网数据包能够快速准确地捕获、过滤、存储及解析提出了更高的要求。由于现有的数据包捕获处理方法中，过滤器的大多设置方式是将规则写入配置文件，每次捕获报文时进行比对，不仅效率低，支持过滤器规则较少，且不支持实时设置的预置型过滤器。

发明内容

针对现有方法存在的支持过滤器规则少、不支持实时设置过滤器的问题，本发明提供一种以太网报文捕获、过滤、存储、实时解析方法及系统。

本发明提供一种以太网报文捕获、过滤、存储、实时解析方法，该方法包括：

步骤1：确定需要捕获报文的以太网接口，建立以太网连接；

步骤2：实时监测用于设置过滤器的触发信号，一旦监测到所述触发信号，则根据给定的过滤规则实时创建过滤器；

步骤3：采用零拷贝技术实时调整多线程无锁队列容量，捕获以太网报文；

步骤4：将捕获的以太网报文保存为pcap文件后存储至磁盘，并根据捕获以太网报文时的时间戳对所述pcap文件进行命名和标号；

步骤5：根据时间戳和标号选择需要解析的以太网报文进行解析，将解析结果分类存储至数据库。

进一步地，步骤1中，采用自动搜索接口方式或者手动添加接口方式确定需要捕获报文的以太网接口。

进一步地，步骤2包括：当用户实时输入兼容libpcap规则库的过滤规则时，立即生成触发信号，进而根据输入的过滤规则创建过滤器。

进一步地，步骤3中，所述采用零拷贝技术实时调整多线程无锁队列容量，包括：

在对队列进行写入操作和读取操作完毕后，分别将对应的标志位立即置位；其中，在对队列进行读取操作完毕后，将其对应的标志位置位之前，根据以太网报文的流量速率大小动态调整写入队列容量。

进一步地，步骤4中还包括：对所述磁盘的磁盘容量进行实时监控，当所述磁盘容量达到预设限值时发出警报，并循环删除所述磁盘中的存储文件。

本发明提供一种以太网报文捕获、过滤、存储、实时解析系统，该系统包括：

连接模块，用于确定需要捕获报文的以太网接口，建立以太网连接；

过滤模块，用于实时监测用于设置过滤器的触发信号，一旦监测到所述触发信号，则根据给定的过滤规则实时创建过滤器；

捕获存储模块，用于采用零拷贝技术实时调整多线程无锁队列容量，捕获以太网报文；以及将捕获的以太网报文保存为pcap文件后存储至磁盘，并根据捕获以太网报文时的时间戳对所述pcap文件进行命名和标号；

解析模块，用于根据时间戳和标号选择需要解析的以太网报文进行解析，将解析结果分类存储至数据库。