[发明专利]一种基于片内片外两级结构的数据处理方法和频度估计方法

摘要

本发明涉及一种基于片内片外两级结构的数据处理方法和频度估计方法。该方法在支持删除操作以及与CM‑sketch具有相同或更快速度的基础上实现更高精确性和更小片上内存占用的Sketch，将其命名为Slim‑Fat Sketch。本发明提出共计六个版本，除了第一代版本之外，每一代版本都是通过对上一个版本进行分析，然后在保证具有上一个版本优点的基础上针对上一个版本的局限性进行改进，最终得到符合预期效果的Sketch设计。本发明的SF‑sketch与已有的Sketch相比占用更小的内存空间，而且在与目前最好的Sketch具有相同速度的基础上提升了精确性，以更有效地实现数据频度估计。

主权项

一种基于片内片外两级结构的数据处理方法，其特征在于，设立两个数组集合，分别是设置于片内内存的Slim‑subsketch，以及设置于片外内存的Fat‑subsketch；在更新表项时，首先更新Fat‑subsketch，然后基于对Fat‑subsketch的观察来对Slim‑subsketch中合适的计数器进行更新，如果Slim‑subsketch中任意计数器的值已大于插入表项的次数，则不增加相应计数器的值，以减少Slim‑subsketch中的增量。