[发明专利]基于哈希冲突补偿的网络大流识别方法

摘要

一种基于哈希冲突补偿的网络大流识别方法，设置一个计数器数组和一组哈希函数，每个哈希函数输入是流标识，在测量期间，将测量到每个报文按照其流标识，采用这组哈希函数的每个哈希函数生成哈希值，更新每个哈希值对应计数器数组的计数器，同时随机抽样记录流标识，测量结束后，将记录的每个流标识作为这组哈希函数的输入生成哈希值，查找计数器数组中所对应哈希值位置的计数器，将这组计数器中最小值作为该流标识流量的初步估计值，然后随机产生若干个虚拟流标识，在计数器数组中查找虚拟流标识的值，并将这些值的中位数作为流量冲突补偿值，将流标识流量的初步估计值减去流量冲突补偿值计算流标识流量，并将超过阀值的流标识及流量输出。

主权项

一种基于哈希冲突补偿的网络大流识别方法，其特征是设置一个计数器数组和一组哈希函数，每个哈希函数的输入是流标识，输出是小于计数器大小的一个正整数，在测量期间，将测量到的每个报文按照其流标识，分别采用这组哈希函数中的每个哈希函数生成哈希值，更新每个哈希值对应计数器数组中的计数器，同时随机抽样流标识并记录抽到的流标识，测量结束后，将记录的每个流标识作为这组哈希函数的输入生成哈希值，查找计数器数组中所对应这些哈希值位置的计数器的值，将这些计数器的值中最小值作为该流标识流量的初步估计值，然后随机产生5到100个虚拟流标识，查寻出这些虚拟流标识在计数器数组中的流量，计算出这些虚拟流标识流量的中位数作为流量冲突补偿值，将查询到流标识流量的初步估计值减去流量冲突补偿值得到流标识的流量，对于超过大流阀值的流标识及其流量大小输出，具体步骤如下：步骤1：参数设置设置一个大小为n的计数器数组，设置数组中每个计数器的初始值均为0，设置m个哈希函数，m在3到5之间取值，每个哈希函数的输入均为流标识，输出为0到n‑1之间的整数，设置流标识抽样概率p，设置大流阀值h，进入步骤2，步骤2：记录报文数据对于测量到的每个报文，从报文头结构中提取其流标识，流标识是指报文头中的字段源IP、宿IP、源端口、宿端口、协议等5个字段所构成的标识，将流标识作为m个哈希函数的输入对应m个哈希值，将这m个哈希值所对应的计数器数组所在位置的计数器累加1，以抽样概率p随机抽样该流标识，被抽样的流标识记录在内存中，所有报文测量结束后，进入步骤3，步骤3：查询内存中记录的抽样流标识的流量初步估计值对于内存中记录的抽样流标识，将每个流标识作为m个哈希函数的输入计算出m个哈希值，在计数器数组中查找这m个位置中所对应的计数器的值，将这m个计数器的值中的最小值作为该流标识的流量初步估计值，进入步骤4，步骤4：估计虚拟流标识的流量采用随机函数随机产生5到100个虚拟流标识，将每个虚拟流标识作为m个哈希函数的输入计算出m个哈希值，在计数器数组中查找这m个位置中所对应的计数器的值，将这m个值中的最小值作为该虚拟流标识的虚拟流量值，进入步骤5，步骤5：计算流量冲突补偿值将所有虚拟流标识所查找到的虚拟流量值按照大小顺序排序，将中间位置所对应的流量初始值记为中位数，并以此中位数作为流量冲突补偿值，进入步骤6，步骤6：计算流标识流量大小将所有查询的流标识的流量初始值减去流量冲突补偿值作为流标识的流量大小估计值，进入第7步，步骤7：输出结果将所计算所有的流标识流量大小估计值和大流阀值h比较，如果流标识流量大小估计值的小于大流阀值，则丢弃该流标识，如果流标识流量大小估计值大于大流阀值，则将该流标识及其流量大小输出，处理完所有的流标识后方法退出。