[发明专利]一种基于链接特征的链接去重方法在审
| 申请号： | 201710158156.6 | 申请日： | 2017-03-16 |
| 公开（公告）号： | CN108628871A | 公开（公告）日： | 2018-10-09 |
| 发明（设计）人： | 王志刚 | 申请（专利权）人： | 哈尔滨英赛克信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 150001 黑龙江*** | 国省代码： | 黑龙江;23 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于链接特征的链接去重方法，包括如下步骤：S1、根据URL的格式特征，将URL的域名部分，目录部分以及文件名部分拆分重组，重组成三种URL形式；S2、建立一个布隆过滤器集，包含三个子布隆过滤器；S3、使用这三个子布隆过滤器分别对步骤S 1生成的三种形式的URL进行查重操作；S4、分别判断三个子布隆过滤器的置1位占比是否超过50%；S5、新建一个布隆过滤器，将URL经过多次哈希后存入该布隆过滤器，并将相应的置1位数量进行更改，转到S7；S6、将URL经过多次哈希后存入布隆过滤器，并将相应的置1位数量进行更改；S7、重复步骤S1‑ S6，直至查重结束。能够显著降低布隆过滤器的误判率。 | ||
| 搜索关键词： | 布隆过滤器 链接特征 哈希 链接 去重 格式特征 误判率 重复 | ||
【主权项】：
1.一种基于链接特征的链接去重方法，其特征在于，包括如下步骤：S1、根据URL的格式特征，将URL的域名部分，目录部分以及文件名部分拆分重组，重组成三种URL形式，其中，第一种形式为原始URL，第二种形式为域名后接文件名，第三种形式为目录名后接文件名；S2、建立一个布隆过滤器集，包含三个子布隆过滤器；S3、使用这三个子布隆过滤器分别对步骤S 1生成的三种形式的URL进行查重操作，当三个子布隆过滤器的查重结果都显示URL已存在时，认为这条URL已经存在，转到步骤S7，否则转到步骤S4；S4、分别判断三个子布隆过滤器的置1位占比是否超过50%，如果超过50%，转到S5，否则转到S6；S5、新建一个布隆过滤器，将URL经过多次哈希后存入该布隆过滤器，并将相应的置1位数量进行更改，转到S7；S6、将URL经过多次哈希后存入布隆过滤器，并将相应的置1位数量进行更改；S7、 重复步骤S1‑ S6，直至查重结束。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于哈尔滨英赛克信息技术有限公司，未经哈尔滨英赛克信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710158156.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种网页预览方法和装置
- 下一篇：基因分析数据库批量数据导入方法和系统
