[发明专利]一种基于计数型bloom filter的网络数据流统计方法

说明书

技术领域

本发明涉及网络数据流统计领域，更具体地说，涉及一种基于计数型bloom filter的网络数据流统计方法。 

背景技术

当今的网络飞速发展，在高速的路由器和交换机上OC-48（2.5Gbps）端口速率已经非常普遍，而新的OC-768端口速率更是高达40Gbps。了解高速网络环境下的网络行为特征需要网络测量，而流级别的测量统计在网络测量中的应用越来越广泛。流以及流量的统计结果可用于网络安全检测、流量计费、流量管理、流量工程以及其他网络应用。 

网络流统计技术很多，主要追求的是统计准确性、降低计算复杂度以及空间复杂度。比如使用编码的哈希统计，在对流信息哈希后，需要一定的编码位数来降低碰撞率，当编码位数与哈希前的流信息位数相同时才能避免碰撞，相当于完全存储。哈希统计基本靠编码位数作为和准确率交换的筹码。还有数据约减统计，亦即抽样统计。这种统计方法在空间占用上比较有优势，但是抽样后的估计误差不可避免。如cisco在Netflow中引入的“1out of N”抽样策略，每N个流中统计一个，这种方法简单易于硬件实现，但是偏离实际的网络流分布，大流被抽得的概率较高，而短流较低。后面出现的一些改进型的抽样统计方法都是在准确性、计算复杂度和空间复杂度三者之间求均衡。 

bloom filter是对哈希的改进，是一种空间高效的存储结构，使用k个哈希函数和拥有一组置位比特的向量。它有效避免了碰撞，且易于硬件实现。 

发明内容

本发明针对以上问题的提出，而研制一种基于计数型bloom filter的网络数据流统计方法。 

一种基于计数型bloom filter的网络数据流统计方法，其特征在于，包括如下步骤： 

1）配置计数型bloom filter统计前的参数，包括容错率、流总数、哈希函数个数以及计数器个数； 

2）计数型bloom filter将每个数据包的五元组信息哈希到相应位置的计 数器中； 

3）取相应计数器中的最小值作为该流流量。 

本发明的步骤1）包括如下步骤： 

A）设定统计错误率上界ε； 

B）设定统计的流总数n； 

C）设置计数器个数m，m取大于且临近nlog₂e·log₂(1/ε)的整数； 

D）设置哈希函数个数k，k取大于且临近(m/n)ln2的整数。 

本发明的步骤2）包括如下步骤： 

E）流采集模块获取当前数据包，解析出数据包中的五元组信息发送至流统计模块； 

F）流统计模块将五元组信息转发至计数型bloom filter； 

G）计数型bloom filter使用k个哈希函数将五元组信息哈希到对应k个位置的计数器中，当哈希前k个计数器中所有值均不为0时，更新流，将该k个计数器值同时加1；当哈希前k个计数器中至少有一个值为0时，添加流，将对应k个计数器值加1且流统计模块中新增一条流记录。 

本发明的步骤3）包括如下步骤： 

H）当统计流的流总数大于预设流总数时，计数型bloom filter停止统计，取对应的k个流量统计计数器中的最小值作为每个流的流量。 

本发明的G）步骤还包括如下步骤： 

当统计值超过计数器位数时，建立扩展计数器，扩展计数器存储低位，计数型bloom filter的计数器存储高位。 

实施本发明具有以下有益效果：在预设流个数的情况下，通过特有的参数设置方案使用易于硬件实现的计数型bloom filter实现流量以及流量的快速统计，在高效哈希置位的同时通过扩展计数器防止计数型bloom filter的计数器溢出，能满足高速网络中一般情况下的流统计以及五元组信息快速存储。 

附图说明

图1是本发明的系统结构图； 

图2是本发明的方法流程图； 

图3是本发明的更新流的示意图； 

图4是本发明的添加流的示意图； 

图5是停止统计控制指令示意图； 

图6是防溢出添加计数器示意图。 

具体实施方式

本发明提供一种基于计数型bloom filter的网络数据流统计方法，下面结合附图对本发明的技术方案进行说明。