[发明专利]一种集群布隆过滤器数据去重方法、终端设备及存储介质

权利要求书

1.一种集群布隆过滤器数据去重方法，其特征在于，包括以下步骤：

S1：接收数据记录并写入消息队列；

S2：计算数据记录对应的排重键值；

S3：根据每条消息记录的排重键值t，计算该消息记录对应的存储索引号i：

i＝CRC16(t)％(n*m)

其中，CRC16表示CRC16运算，％表示求余数，n表示单个布隆过滤器的个数，m表示每个布隆过滤器包含的卡槽数；

S4：在由n个单个布隆过滤器组成的集群布隆过滤器的n*m个过滤器槽中的第i个过滤器槽中存储该消息记录对应的位向量，并初始化设定位向量中各元素的值均为0；

S5：通过k个散列函数分别对该消息记录对应的排重键值进行运算，根据k个运算结果将该消息记录对应的位向量中对应位置元素的值置1；

S6：对于待查找数据记录，通过步骤S2-S3得到该查找数据记录对应的位向量在集群布隆过滤器的存储位置i，通过步骤S5中方法得到该查找数据记录对应的位向量中应置1的元素的值是否为1，如果是，则判定该待查找数据记录重复，否则，判定该待查找数据记录不重复。

2.根据权利要求1所述的集群布隆过滤器数据去重方法，其特征在于：数据记录对应的排重键值的计算方法为：将数据记录中所有字段的值依序拼接后，对拼接后的值进行哈希运算，将哈希运算的结果作为排重键值。

3.根据权利要求2所述的集群布隆过滤器数据去重方法，其特征在于：哈希运算采用MD5运算。

4.根据权利要求1所述的集群布隆过滤器数据去重方法，其特征在于：所述方法的实现过程集成到flink框架中，选择flink的filter算子作为排重算子，将集群布隆过滤器集成到filter算子中，具体集成步骤如下：

S101：排重算子代码继承filter算子；

S102：将数据记录逐条通过source算子解析进入flink程序；

S103：继承filter的排重算子从前一个算子拉取数据；

S104：从拉取的数据中提取排重键值；

S105：使用排重键值作为参数调用集群布隆过滤器查询改排重键值是否存在，如果存在则过滤该条数据记录，如果不存在则调用集群布隆过滤器插入方法存储排重键值并放行数据记录到下个节点。

5.根据权利要求1所述的集群布隆过滤器数据去重方法，其特征在于：集群布隆过滤器能够进行扩容和缩容，在进行扩容或缩容时对数据的迁移过程中，如果遇到请求情况，使用ask重定向策略进行响应。

6.一种集群布隆过滤器数据去重终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5中任一所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～5中任一所述方法的步骤。