[发明专利]布隆过滤器和数据处理方法

说明书

本发明提供一种布隆过滤器和数据处理方法，所述布隆过滤器的位数组的每一bit位扩展为一个计数器，所述布隆过滤器包括：初始化模块，初始化模块用于初始化配置参数，并在初始化时生成用于存储配置参数的hash对象；判重验证模块，判重验证模块用于判定接收到的key是否已经存在；存储模块，存储模块用于在判重验证模块判定接收到的key不存在时，存储该key，并将对应每个bit位的计数器值加一；删除模块，删除模块用于在判重验证模块判定接收到的key存在时，删除该key，并将对应每个bit位的计数器值减一。本发明能够使布隆过滤器具有删除功能，并能确保数据准确性，以及能够提高布隆过滤器服务的高可用性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种布隆过滤器和一种数据处理方法。

背景技术

在大数据量背景下处理过滤数据重复性的过滤器，常用到的场景有点赞与取消点赞功能、关注与取消关注功能。当用户量特别大的时候如果还是用相关技术中key与value方式存储记录的话，需要的内存会非常大，且非热点数据不利于查询数据速度。另外还有包括文件上传等验证重复图片上传等等应用场景，这些应用场景里在选择布隆过滤器作为存储与判断依据时如果没有可以删除的功能的话，这些应用场景都没法应用，因为点赞、关注、文件等都有逆操作。因此过滤器删除功能是很必要的功能。

发明内容

本发明为解决上述技术问题，提供了一种布隆过滤器和数据处理方法，能够使布隆过滤器具有删除功能，并能确保数据准确性，以及能够提高布隆过滤器服务的高可用性。

本发明采用的技术方案如下：

一种布隆过滤器，所述布隆过滤器的位数组的每一bit位扩展为一个计数器，所述布隆过滤器包括：初始化模块，所述初始化模块用于初始化配置参数，并在初始化时生成用于存储所述配置参数的hash对象；判重验证模块，所述判重验证模块用于判定接收到的key是否已经存在；存储模块，所述存储模块用于在所述判重验证模块判定接收到的key不存在时，存储该key，并将对应每个bit位的计数器值加一；删除模块，所述删除模块用于在所述判重验证模块判定接收到的key存在时，删除该key，并将对应每个bit位的计数器值减一。

所述配置参数包括插入的元素个数n、误报率p、布隆过滤器名称name、每个bit位的最大值repeat。

用于存储所述配置参数的hash对象为以name及其value值构成的hash对象。

每个bit位的计数器值满足如下公式：

其中，Pr(max(c)≥i)为每个bit位的计数器值大于或等于i的概率，m为所述布隆过滤器的长度。

所述判重验证模块具体用于将接收到的key用hash128函数转化成long类型的值，并根据所述配置参数计算得到一个bit数组，将该bit数组用for循环的方式依次查找是否在redis中存储过，如果该bit数组在redis中全部被查找到，则判定该key存在，否则判定该key不存在。

一种数据处理方法，包括以下步骤：构建布隆过滤器，所述布隆过滤器的位数组的每一bit位扩展为一个计数器；初始化所述布隆过滤器的配置参数，并在初始化时生成用于存储所述配置参数的hash对象；所述布隆过滤器判定接收到的key是否已经存在；所述布隆过滤器在判定接收到的key不存在时，存储该key，并将对应每个bit位的计数器值加一；所述布隆过滤器在判定接收到的key存在时，删除该key，并将对应每个bit位的计数器值减一。

所述配置参数包括插入的元素个数n、误报率p、布隆过滤器名称name、每个bit位的最大值repeat。

用于存储所述配置参数的hash对象为以name及其value值构成的hash对象。

每个bit位的计数器值满足如下公式：