[发明专利]基于Sketch的高性能任意部分键测量方法和系统

说明书

本发明涉及一种基于Sketch的高性能任意部分键测量方法和系统。该方法包括：从每个数据包中提取全键及其大小，并将其哈希映射到sketch中每个数组的一个存储桶中；使用全键更新每个映射到的存储桶，并基于随机方差最小化技术确定全键的估计大小；基于数据平面中的sketch构建一个包含所有全键及其估计大小的查询表；在查询部分键时，在控制平面中聚合每个部分键对应的全键集合，得到部分键的估计大小。本发明在任意部分键测量任务上实现了很高的准确度，可以在较小的内存空间实现高速的运行，同时所测的部分键数量对系统性能无明显影响；通过增加硬件并行性和消除循环依赖，本发明得以在软件平台和硬件平台都能够实现且性能优异。

技术领域

本发明涉及网络测量中的任意部分键测量领域，具体为一种利用名为CocoSketch(Cornucopia Sketch，如意简表)的概率数据结构实现在软硬件平台上对任意部分键进行高精度测量的方法和系统。

背景技术

目前，网络监控和测量已成为各种网络管理任务的基础，例如流量工程、负载均衡、流量调度和异常检测等。这些任务通常需要及时、准确地估计网络流量指标。在这方面，基于sketch的算法能够在使用少量资源的大型网络中，以高准确率估算这些指标。通常，在同一个网络中，不同的网络测量任务需要基于不同的流键来获取不同的统计信息。例如，主机级的流量工程需要使用SrcIP作为跟踪大流的流键，而流量调度需要五元组作为流键。此外，在安全检测和诊断任务中，我们需要详尽地跟踪所有可能的流键，包括五元组、SrcIP、DstIP以及它们的任意前缀，才能定位异常流。但现有的基于sketch的设计通常着重于估计在单个流键上定义的统计信息，而为每个流键维护一个sketch，由于资源的限制，通常是不可行的。因此，急需一种能够支持多键测量的sketch算法来解决任意部分键的查询问题。

为了解决这个问题，目前已有工作做出了一些尝试。R-HHH(RandomizedHierarchical Heavy Hitters，参见“Ran Ben-Basat,Gil Einziger,Roy Friedman,Marcelo Caggiani Luizelli,and Erez Waisbard.Constant time updates inhierarchical heavy hitters.In SIGCOMM 2017.ACM,2017.”)主要用于查找共享某些IP前缀的大流的集合，这是任意部分键查询的一种特殊情况。它为每个流键(IP前缀)维护一个sketch，插入时基于采样技术随机选择一个sketch进行更新，从而减少了每个数据包的sketch更新操作。但这种方法仅支持IP前缀作为部分键，且由于占用的内存过多而不适用于硬件平台。USS(Unbiased SpaceSaving，参见“Daniel Ting.Data sketches fordisaggregated subset sum and frequent item estimation.In SIGMOD 2018.ACM,2018.”)则基于子集总和估计理论去解决任意部分键查询的问题，该理论认为任何特定的部分键都可以由特定全键的集合来表示。USS将方差最小化技术应用于SpaceSaving以解决子集总和估计问题，从而实现任意部分键的查询。但由于USS的每次更新都需要基于所有已记录的流信息，使得它无法实现较高的资源效率，并且只能在软件平台运行。

发明内容

为了克服现有的任意部分键查询算法精度较低、处理速度较慢、资源占用过多和平台兼容性差的不足，本发明提出了一种基于CocoSketch的高性能任意部分键测量系统，该系统可以在资源有限的软硬件平台上以较快的处理速度实现高准确度的任意部分键测量任务。

本发明解决其技术问题所采用的技术方案是：

一种基于Sketch的高性能任意部分键测量方法，包括以下步骤：

从每个数据包中提取全键及其大小，并将其哈希映射到数据平面的sketch中每个数组的一个存储桶中；

使用全键更新每个映射到的存储桶，并基于随机方差最小化技术确定全键的估计大小；