[发明专利]用于存储与数据元素相关联的地址的方法、设备和系统

说明书

本文描述用于使用分层系列的散列表的插入、搜索、删除和负载均衡的方法和装置。所揭示技术提供将位图用作预过滤器的几乎无冲突或确定性散列函数。所述散列函数具有不同优先级并且一个散列结果将用于执行主存储器接入。对于所述散列函数，两个散列位图用于存储有效数据和冲突信息。不存在除了具有最低优先级的散列表之外的所述散列表中允许的冲突。所述散列表和位图可以存储于其中比主存储器执行得快得多的一个或多个高速缓冲存储器(例如，CPU的高速缓冲存储器、FPGA中的Block RAM等)中。

技术领域

本发明的实施例大体上涉及利用散列表的存储器寻址技术的领域。更具体来说，本发明的实施例涉及例如网络系统内使用的用于使用位图的存储器寻址的散列方法，其中减小或消除冲突。

背景技术

散列表广泛用于各种网络应用中，因为散列表引起固定时间的原始操作，例如，查询、插入和删除操作。散列表广泛用于存储关于数据元素的存储器寻址信息，所述数据元素例如存储于高容量存储系统中。然而，当表负载增加时，冲突可能经常发生。与现有元素冲突的新插入元素插入到额外的槽中，从而导致在查询期间使用的探针序列的长度增加。因此，原始操作的成本增加，从而引起性能降级。尽管不管具有高负载和增加的冲突的情况，众所周知的冲突解决策略保持平均性能，但是所述冲突解决策略的性能变得高度不确定。

在例如网络处理器的现代硬件设备中，由于多个散列技术的非确定性，系统性能急剧地降级。主要原因是在此类复杂设备中，协调多个螺纹以加速散列操作，并且因此需要同步，因为处理次序至关重要。由于此类同步机构确保以与请求到达的次序相同的次序处理许多请求，因此最慢的螺纹不利地确定整个系统性能。在各自具有非确定性性能的螺纹的数目增加时，最慢的螺纹往往会变得慢许多并且系统性能由此急剧地降级。对于此类硬件设备，重要的是通过有效的冲突解决来保持高度确定性。

此外，可能在例如Peacock散列或FHT的多段散列系统中发生误报。误报可以分成两类。对于已存在于散列表中的一个中的元素，当片上布隆过滤器在某一其它表格中错误地报告元素时，发生第一类误报。对于不存在于任何散列表中的元素，当在一个或多个散列表中错误地报告元素时，发生第二类误报。Peacock散列和FHT不区别这两类误报。然而，第一类误报在理论和实践上具有极大重要性。基本的布隆过滤器或高级变体可以从不避免第一类误报，因为所述第一类误报是大致总结，仅仅是为了节省内存。为了将误报减小至1％以下，对于每个表元素，高成本的补救是10位片上存储器。此外，在例如路由器的高速网络设备中，每秒数百万个数据包穿过并且需要以线速执行IP地址查找功能。即使具有1％误报，也使用多段散列系统将数万个数据包不正确地匹配到路由表条目。这引起也使系统性能降级的高成本且不必要的探测。随着网络流量增加，问题往往会更糟。由此看来，减少或甚至清除第一类误报是至关重要的。

多个网络应用不需要处理第二类误报。例如，IP地址查找使用路由表转发进入的数据包。在路由表中，存在通常具有最低优先级的具体规则以匹配与其它规则不匹配的任何数据包。类似地，数据包分类算法需要使用数据包分类器匹配进入的数据包。分类器中的最低优先级规则通常匹配任何数据包，因为规则中的五个字段是通配符。此应用包含防火墙、访问控制表操作等。一些网络应用可以暂时地允许第二类误报。然而，动态递增更新用于将任何错配项中的未知特性添加到数据库，并且因此下一次可以从不跳过此项。实例是入侵检测系统IDS。如果目标数据包含有不匹配当前IDS库中的任何规则的某一签名，检索签名并且将所述签名添加到IDS库中以将数据包与相同类别的签名匹配。

发明内容