[发明专利]一种基于动态计数型Bloomfilter的散列数据表示及查询方法

说明书

【技术领域】

本发明涉及数据表示与查询方法的技术领域，特别是基于Bloom filter散列数据的表示方法的技术领域。

【背景技术】

Bloom filter是一种强大的散列数据表示方法，它能提高查询效率和节省网络带宽，已广泛应用于数据库、网络、对等网（P2P）和云计算等领域的数据查询中。然而现有Bloom filter在大规模P2P信息检索环境中不能同时既删除元素又能自适应动态无集合元素上限问题。为了解决这个问题问题，我们提出了建立多个同构计数型Bloom filter以自适应的解决P2P网络中节点数据量不确定和元素动态变化频繁的问题，即动态计数型Bloom Filter（DCBF）。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种基于动态计数型Bloom filter的散列数据表示及查询方法，原始的DBF只能动态增加数据，不能实现数据的删除；CBF能删除数据但当数据元素超过设定上限时会导致错误率急剧上升。本发明将这两种Bloom filter的变种有机结合到了一起，既能自适应增加数据，又能删除数据，从而能更好的适应数据动态变化大的环境。

为实现上述目的，本发明提出了一种基于动态计数型Bloom filter的散列数据表示及查询方法，依次包括以下步骤：

a）根据设定的同构CBF可表示的元素上限值n和错误率fp以及Hash函数的个数k计算CBF中计数器位数m，生成初始CBF0；

b）用k个散列函数集h(x)＝{h₁(x),h₂(x)...h_i(x)...h_k(x)}将原始数据集插入到CBF0中；

c）生成一个附加CBF记为ACBF，ACBF用于处理在同构CBF中查询到2个或以上的CBF中出现的同一元素，将这种元素插入到ACBF中；

d）插入元素时，先到ACBF中查找，如查询到，则将该元素从ACBF中删除；如未查询到，则到同构CBF中查询，如查询到则不再插入；如在同构CBF中未查询到，则看是否有同构CBF未达到上限的，如有则插入，否则生成一个新的同构CBFi，并将元素插入到CBFi中；

e）删除元素时，先到各同构CBF中查询，如在2个及以上的CBF中查询到，将该元素插入到ACBF中，否则将该元素从查询到的某同构CBFj中删除，当某同构CBFi中元素全部删除后则将该CBFi删除；

f）查询元素时，先到ACBF中查询，如查询到则返回无该元素；如ACBF中没查询到，再到各个同构CBF中去查询，如在某个CBFi查询到则返回有该元素。

作为优选，所述步骤a）中CBF计数器位数按确定；公式中n表示初始数据集{x_i}的元素个数，元素x_i可以是数据库中的数据，也可以是网络地址数据；公式中fp表示同构CBF中每一个CBF允许的错误率。

作为优选，所述步骤b）中k个散列函数集h(x)＝{h₁(x),h₂(x)...h_i(x)...h_k(x)}为k个不同的散列函数。

作为优选，所述步骤c）中建立的ACBF用于处理删除元素时产生的碰撞问题。

作为优选，所述原始数据集无集合元素上限并且动态变化频繁。

本发明的有益效果：本发明通过建立多个同构CBF和一个ACBF构建了DCBF，该DCBF实现了在无集合元素个数上限的大数据集环境中的高效数据查询，它比原始CBF和DBF功能更强大，它在获得高效查询的同时，获得了自适应动态表示大数据集的性能，在大数据集的P2P网络和云计算等环境中查询时可以提高查询效率和节省网络带宽。

【具体实施方式】

本发明一种基于动态计数型Bloom filter的散列数据表示及查询方法，依次包括以下步骤：

a）根据设定的同构CBF可表示的元素上限值n和错误率fp以及Hash函数的个数k计算CBF中计数器位数m，生成初始CBF0；

b）用k个散列函数集h(x)＝{h₁(x),h₂(x)...h_i(x)...h_k(x)}将原始数据集插入到CBF0中；