[发明专利]一种有效链接获取的网页增量抓取方法

权利要求书

1.有效链接获取的网页增量抓取方法，其特征是包括如下步骤：

1) 有效链接获取阶段：

a 初始化抓取网页链接，指定抓取入口URL；

b 判断入口网页链接是否具有分页；

c 计算入口网页与其分页的公共链接；

d 通过公共链接获取有效链接；

e 结束；

2) 增量抓取阶段：

a 构建布隆过滤器，并通过布隆过滤器判断步骤 1)-d 中有效网页链接是否已经抓取；

b 通过 HTTP 请求抓取未抓取的网页；

c 结束；

步骤 1)-a 中抓取入口 URL 是指抓取程序以此 URL开始逐层抓取；

步骤 1)-b 中分页是指在网页中由于信息太多采用分页形式显示，每一页显示一部分信息；

分页的具体判断方法如下：

（1） 获取入口 URL 页面中所有的链接，保存集合 PageAllUrl 中；

（2）通过匹配 PageAllUr l 中每个 URL 链接文本中是否为“下一页”或“下页”分页标志来判断是否有分页；

步骤 1)-c 中公共链接是指入口 URL 页面与其分页网页中相同的 URL，其具体计算方法如下：

（1） 获取入口 URL 分页网页中所有的链接，保存集合 NextPageAllUrl 中；

（2）比较集合 PageAllUrl 和集合 NextPageAllUrl ，找出它们相同的 URL 并保存在集合 CommonUrl 中，即公共链接集合 CommonUrl = PageAllUrl ∩ NextPageAllUrl；

步骤 1)-d 中有效链接是指非菜单、导航、广告无效链接，其具体方法如下：

（1） 在步骤 1)-b 中判断入口 URL 是否具有分页，如有执行 （2），否则执行（3）；

（2） 从集合PageAllUrl 中链接去掉集合 CommonUrl 中链接，并将结果保存在集合 EffectiveUrl 中，即有效链接集合 EffectiveUrl=PageAllUrl-CommonUrl ；

（3） 分析入口 URL 链接，获取其主机域名 HostUrl；

（4）判断集合 PageAllUrl 是否为空，如果不为空则执行（5），否则执行（8）；

（5）从集合 PageAllUrl 中取出一个 Url；

（6）判断 Url 是否是入口 URL 的前缀，如果是则执行（7），否则执行（4）；

（7） 将 Url 加入有效链接集合 EffectiveUrl 中，执行（4）；

（8） 结束。

2.根据权利要求 1 所述的有效链接获取的网页增量抓取方法，其特征是步骤 2)-a 和 2)-b 中构建布隆过滤器是指设定布隆过滤器的大小、误判率以及随机哈希函数：设置布隆过滤器大小为 90000000，误判率为 0.000001，随机哈希函数为 MD5Hash；

其判断方法具体如下：

1) 初始化布隆过滤器 BloomFilter；

2) 判断集合 EffectiveUrl 是否为空，如果不为空则执行 3)，否则执行 7)；

3) 从集合 EffectiveUrl 中取出一个 Url；

4) 判断Url 是否在 BloomFilter 中，如果在则执行 2)，否则执行 5)；

5) 通过 HTTP 请求抓取 Url 链接的网页信息；

6) 将 Url 保存到 BloomFilter 中，执行 2)；

7) 结束。