[发明专利]一种基于多重布隆过滤的URL去重方法及系统在审
| 申请号： | 202110303053.0 | 申请日： | 2021-03-22 |
| 公开（公告）号： | CN113051498A | 公开（公告）日： | 2021-06-29 |
| 发明（设计）人： | 席泽生;张波 | 申请（专利权）人： | 全球能源互联网研究院有限公司;国家电网有限公司 |
| 主分类号： | G06F16/955 | 分类号： | G06F16/955;G06F16/951 |
| 代理公司： | 北京三聚阳光知识产权代理有限公司 11250 | 代理人： | 刘静 |
| 地址： | 102209 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多重布隆过滤的URL去重方法及系统，方法包括：获取待去重URL目标信息；当待去重URL目标信息不存在于预设URL信息库时，利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息，计算k个Hash函数对应的Hash值，并对k个Hash值求和；第二布隆过滤器分析k个Hash值之和，对k个Hash值求和；将第二布隆过滤器求取的k个Hash值之和循环输入第二布隆过滤器，利用第二布隆过滤器将k个Hash值之和映射到二进制位数组中，当检查二进制位数组对应的索引位置的值均为1且误判率小于预设阈值时，去除待去重URL目标信息，从而提高工作效率，降低损耗时间及误判率。 | ||
| 搜索关键词： | 一种 基于 多重 过滤 url 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于全球能源互联网研究院有限公司;国家电网有限公司，未经全球能源互联网研究院有限公司;国家电网有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110303053.0/，转载请声明来源钻瓜专利网。
