[发明专利]一种基于小流过滤的高精度大象流识别架构

说明书

本发明公开了一种基于小流过滤的高精度大象流识别架构，包括：金字塔过滤器，用于过滤网络数据流中的老鼠流，并初步记录大象流的包数量，在解决传统过滤器对老鼠流过滤失效问题的同时，为哈希表中大象流的驱逐与纳入操作提供关键信息，降低老鼠流被误认为是大象流的可能；哈希链表，用于精确存储大象流的信息以准确统计大象流的数据报数量，并采用可扩充的链表以适应网络中大象流数量的增长；所述哈希链表采用重定位的策略，在当前映射的哈希位置不可再存储时，重定位到备选哈希位置，为大象流提供多个候选哈希位置。同时，所述哈希链表为降低查找长度，只有在特定条件下才允许链表的扩充，并限制重定位次数；本发明采用先过滤老鼠流而后精确监控大象流的策略，减少存储资源的开销，并考虑了如何精确替换最小流，提高了大象流的识别精度。

技术领域

本发明涉及网络数据流中大象流的识别，具体涉及一种基于小流过滤的高精度大象流识别架构。

背景技术

网络测量中的大象流（Elephant Flows）识别用于识别网络数据流中流大小超过用户预先设定一个阈值的流，其中流大小通常定义为属于流的数据包数量。根据以往真实数据集和文献的分析，数据流中的流大小通常是高度倾斜的，即服从重尾分布。换句话说，大多数流是老鼠流，即流所属的数据包数量较少，而少部分数流是大象流，即流所属的数据包数量较多。因此，识别网络流量中的大象流对网络的管理和调度起着非常重要的作用。同时，网络设备的大规模部署和网络链路容量的急剧提升造成大象流识别方法无法同时满足低内存开销和高精度的需求，面临着技术瓶颈。

现有大象流测量方法主要是基于sketch方法，将到达的数据包映射到多个计数器向量上记录流的数据包数量。其中包括全部计数和部分计数两种策略。全部计数是记录所有流的包数量；部分计数则通过只记录比较重要的流的包数量，例如只记录大象流的数据包数量。其次，基于计数器方法的大象流测量方案则是通过维护一个哈希表以跟踪统计大象流的包数量，且这些方法之间区别在于哈希表中流的纳入与驱逐。最后，基于过滤思想的方法则是采用过滤的思想，以过滤器过滤网络流量中的老鼠流，再对大象流追踪精确统计其包数量；或者，通过过滤器预先识别提取大象流，然后在将其余流存储在计数器向量中。

但现有的大象流测量方法会存在以下问题：

1、 流大小估计精度问题

使用多维计数器向量统计流的数据包数量虽然可以快速汇总所有流的，但由于存在哈希冲突且未记录流的标识符信息，导致映射到同一计数器的不同流的数据包被认为是属于同一条流的数据包，从而造成估计误差，且这种过渡估计误差难以被消除。基于计数器的大象流测量方法虽然记录流的标识符信息，但由于在流的驱逐与纳入的过程中，难免会将一条老鼠流误认为大象流，并错误的将老鼠流报告为大象流。

2、 存储资源开销问题

基于sketch的大象流识别方法虽然在速度上具有一定优势，但为了避免因哈希冲突而造成的估计误差，sketch必须使用多个计数器向量，多次映射到每个计数器向量上的某一个计数器，并取其中的最小值作为估计值。同时，数据流的大小服从重尾分布，为了计数器不发生溢出，不管是记录老鼠流或是大象流的计数器使用足够多的比特位。因此，sketch为了保证计数的精确性和安全性而无法减少存储空间的开销。

3、 过滤器失效问题

基于过滤思想的大象流识别方法采取一种抓大放小的策略，即以放弃老鼠流的信息作为代价换取宝贵的存储资源以跟踪统计大象流的数据包数量信息。具体通过一个老鼠流的过滤器以过滤网络数据流中的老鼠流，然后在缓存中精确存储大象流的流标识符信息，以进行准确的数据包计数。其中过滤器基于sketch技术实现，并使用小型计数器组成计数器向量。在流映射到的每个计数器向量上的计数器都发生溢出时，即达到预先设定的阈值，则认为该流可以通过过滤器，以进行精确统计包数量。但是，过滤器在经过一段时间工作后，小型计数器的值都将发生溢出，造成所有流都可以直接通过过滤器。