[发明专利]一种集群布隆过滤器数据去重方法、终端设备及存储介质

摘要

本发明涉及一种集群布隆过滤器数据去重方法、终端设备及存储介质，该方法中包括：接收数据记录并写入消息队列；计算数据记录对应的排重键值；计算该消息记录对应的存储索引号i；将集群布隆过滤器中第i个过滤器槽中存储该消息记录对应的位向量，并初始化为0；通过k个散列函数分别对该消息记录对应的排重键值进行运算，根据k个运算结果将该消息记录对应的位向量中对应位置元素的值置1；对于待查找数据记录，根据其在集群布隆过滤器中对应过滤器槽中存储的位向量中对应元素的值是否为1来判断是否重复。本发明解决了实时数据去重负载过大难题。