[发明专利]一种网络数据流的检测方法

说明书

本发明公开一种网络数据流的检测方法，包括以下步骤：收到报文时，获取报文头部的数据流信息，并在存储数据流的Hash表中查找当前收到报文所属的数据流；当在Hash表中未发现所属的数据流条目，且对应的Hash桶中无可用存储空间时，则在当前Hash桶中选出老化速率最小的一个数据流条目；当老化速率小于所设置的门限值，则将所选出的数据流条目淘汰，并将新收到报文所属数据流的统计信息存储在该条目中。本发明采用基于传输速率及最新收到报文的时间戳机制，及时淘汰不活动的大流，有效提高了网络数据流检测的准确性。在相同存储开销的情况下，大流检测的准确性优于MV‑Sketch方案；通过采用基于时间戳的老化机制，不会存在因系统的持续运行而导致的统计误差的积累。

技术领域

本发明涉及数据处理技术领域，具体为一种网络数据流的检测方法。

背景技术

网络中少数具有较大数据量的数据流生成了网络的大部分流量，而其它大量的数据流的数据量总和仅占小部分的网络流量；数据流在带宽占用上也表现出不均衡性，其中少量具有较高速率的数据流消耗了大量的网络带宽。网络中数据流的这种分布特征严重影响了网络传输的有效性，导致了数据流传输带宽占用上的不公平性，对报文的传输时延产生了较大影响，严重时甚至发生拥塞导致报文丢失。随着网络技术的发展，传输链路的带宽容量和数据流的传输速率越来越高。目前，支持100Gbps链路的网络设备已经可以商用；高速网络的转发能力对数据流检测算法的处理提出了高的性能要求。在网络设备上，有效检测出这些数据流，并进行适当的管理与控制，可以改善网络传输的有效性：比如缓解网络拥塞、增加网络的有效吞吐率、降低报文传输时延及报文丢失率，改善网络传输的公平性等。

大流检测在网络管理等领域的应用，引起了研究人员的大量关注。尤其是随着应用场景的拓展，网络链路带宽的增加，不断涌现出新的研究成果；这些成果从准确性、性能、存储开销等方面不断对已有的研究进行了改进。由于网络中数据流的数目过于庞大，而网络设备中高速存储器的存储空间非常有限，因此只能通过维护部分数据流的统计信息，来检测出高速率大流。MV-Sketch数据流检测方案是一种高效的数据流检测算法，该算法主要通过主票选算法(MJTRY, Majority Vote Algorithm)，在一个二维数组中保留候选的大流，使用较小的存储空间实现高速网络中的大流检测。由于缺乏数据流计数的老化机制，因此数据流的计数统计误差随着系统的长期运行会逐步累积；而且当两个高速大流的存储空间上存在Hash冲突时，会降低高速大流检测的准确性。

发明内容

为解决上述技术问题，本发明采用以下技术方案：一种网络数据流的检测方法，其特征在于：包括以下步骤：

第一步，收到报文时，获取报文头部的数据流信息，并在存储数据流的Hash 表中查找当前收到报文所属的数据流；

第二步，当在Hash表中未发现所属的数据流条目，且对应的Hash桶中无可用存储空间时，则在当前Hash桶中选出老化速率最小的一个数据流条目；

第三步，当老化速率小于所设置的门限值，则将所选出的数据流条目淘汰，并将新收到报文所属数据流的统计信息存储在该条目中。

其中，所述Hash表在查找过程中使用Hash函数计算查找索引；所述老化速率为数据流的传输速率乘以老化因子；所述数据的传输速率为数据流的字节数除以数据流的生存时间；所述老化因子小于1且随着数据流未收到报文时间的增加而逐渐减小。

进一步的，所述老化因子为小于1的常数的数据流未收到报文时间的次方。

进一步的，所述老化因子为小于1的常数的数据流未收到报文时间的分段递减函数。

进一步的，所述数据流的统计信息包括数据流标识符、接收数据流第一报文的时间戳、接收数据流最后一个报文的时间戳和数据流的字节数。

进一步的，所述Hash表中第i个子表索引计算的Hash函数为 Index＝Hash(FlowID||salt[i])。