[发明专利]基于Sketch的高性能任意部分键测量方法和系统

权利要求书

1.一种基于Sketch的高性能任意部分键测量方法，其特征在于，包括以下步骤：

从每个数据包中提取全键及其大小，并将其哈希映射到数据平面的sketch中每个数组的一个存储桶中；

使用全键更新每个映射到的存储桶，并基于随机方差最小化技术确定全键的估计大小；

基于数据平面的sketch构建一个包含所有全键及其估计大小的查询表；

在查询部分键时，在控制平面中聚合每个部分键对应的全键集合，得到部分键的估计大小；

所述sketch由d个数组组成，每个数组包含l个key，value数对，每个数对称为存储桶，记录一个全键k_F和它的估计值；令B_i[j].K和B_i[j].V为第i个数组中的第j个桶的键值和它的估计值，1≤i≤d,1≤j≤l；d个数组分别与d个独立的哈希函数(h₁(.),…,h_d(.))相联系；

在软件版本算法中，所述使用全键更新每个映射到的存储桶，并基于随机方差最小化技术确定全键的估计大小，包括：

插入数据包时，将每个传入的数据包表示为一个数对(e，w)，其中e是全键，w是其大小；对于数据包(e，w)，基于哈希索引h₁(e),…,h_d(e)，在d个数组中有d个可能的存储桶将被更新，根据随机方差最小化来选择要更新的存储桶，有两种情况：

(1)如果在d个存储桶的任意一个中记录了全键e，则将该存储桶的大小增加w；

(2)否则，以随机方式更新存储值最小的桶；

对于硬件版本算法，所述使用全键更新每个映射到的存储桶，并基于随机方差最小化技术确定全键的估计大小，包括：

将每个存储桶数组拆分为独立的估计值数组和全键数组，每个数组的更新以并行或以流水线方式运行，以增加硬件并行性和提高吞吐量；

对于每个数据包(e，w)，将通过以下两个步骤独立地更新每个数组：

(1)将映射到的桶的B_i[h_i(e)].B增加w；

(2)以概率用e替换B_i[h_i(e)].K。

2.根据权利要求1所述的方法，其特征在于，所述以随机方式更新值最小的存储桶，包括：

假设值最小的存储桶在k^th数组中，要更新该存储桶，首先将B_k[h_k(e)].V增加w，然后，以概率用e替换B_k[h_k(e)].K；

如果多个存储桶存有相同的最小值，则随机选择一个存储桶进行更新。

3.根据权利要求2所述的方法，其特征在于，采用以下方式查询全键的估计值：

对于要查询的全键e，基于哈希索引h₁(e),…,h_d(e)，在d个数组中找到d个对应的存储桶；

若k^th数组对应存储桶中存储的全键B_k[h_k(e)].K＝e，则返回B_k[h_k(e)].V作为全键e的估计值；反之，则返回0。

4.根据权利要求1所述的方法，其特征在于，如果相同的全键出现在多个数组中，则将不同数组中的平均估计大小作为其最终估计大小。

5.一种采用权利要求1～4中任一权利要求所述方法的基于Sketch的高性能任意部分键测量系统，其特征在于，包括：

数据平面组件，用于从每个数据包中提取全键及其大小，并将其哈希映射到sketch中每个数组的一个存储桶中；使用全键更新每个映射到的存储桶，并基于随机方差最小化技术确定全键的估计大小；

控制平面组件，用于基于数据平面的sketch构建一个包含所有全键及其估计大小的查询表；在查询部分键时，聚合每个部分键对应的全键集合，得到部分键的估计大小。