[发明专利]多层Bloom Filter的构建及查询优化方法

摘要

本发明公开了一种多层Bloom Filter的构建及查询优化方法，构建时，对现有多层Bloom Filter中各层相关Bloom Filter的bit位进行重新放置，将第一层Q个Bloom Filter以及上层每一个Bloom Filter对应的下层Q个Bloom Filter的相同位置bit位放在同一连续地址空间；查询时，一个哈希值对应同层Q个Bloom Filter的bit位存在于同一连续地址空间，通过对少数连续空间的查询即可实现对进行多层Bloom Filter的查询。本发明优化后的多层Bloom Filter在不增加存储空间的基础上，相应bit位查询操作更为简便，大大减少了磁盘访问的次数，有效减少了对多层Bloom Filter的查询时间。

主权项

1.一种多层Bloom Filter构建优化方法，各层Bloom Filter的个数组成为以第一层Bloom Filter个数为首项，且公比和首项同为Q的等比数列，满足Q^N×M≥S，Bloom Filter的层数N≥2，Q是磁盘扇区长度的整数倍，S为总数据集的大小，M为第N层中每个Bloom Filter对应数据集的数据个数；将第一层Q个Bloom Filter的相同位置的bit位放在磁盘同一连续地址空间，第j层的第m个Bloom Filter对应的第j+1层的Q个Bloom Filter中的相同位置的bit位放在磁盘同一连续地址空间，第j层的第m个Bloom Filter的bit位数与其对应的第j+1层的Q个Bloom Filter的bit位总数相等，j＝1,…,N-1；该方法具体为：（A1）置i=1；（A2）判断当前的多层Bloom Filter是否已包含总数据集中所有数据，若是，则结束，否则，进入步骤（3）；（A3）接收新数据；（A4）判断第N层第i个Bloom Filter对应数据集是否已满，若数据集合已满，则进入步骤（5），否则进入步骤（A6）；（A5）设置i=i+1；（A6）对新数据进行哈希，依据哈希值对N层Bloom Filter进行置位，置位结束转入步骤（A2）；所述置位按照如下方式进行：在第N层第i个Bloom Filter对应的所有连续空间中选取与哈希值对应的连续空间，将该连续空间中属于第i个Bloom Filter的bit位置1；第N层第i个Bloom Filter对应于第N-1层的第个Bloom Filter，在该第个Bloom Filter对应的所有连续空间中选取与哈希值对应的连续空间，将该连续空间中属于第个Bloom Filter的bit位置1，表示向上取整；第N-1层的第个Bloom Filter对应于第N-2层的第个BloomFilter，在该第个Bloom Filter对应的所有连续空间中选取与哈希值对应的连续空间，将该连续空间中属于第个Bloom Filter的bit位置1；如此重复操作直到将第一层相应连续空间的相应bit位置1。