[发明专利]一种有效链接获取的网页增量抓取方法

摘要

有效链接获取的网页增量抓取方法，包括如下步骤1)有效链接获取阶段a初始化抓取网页链接，指定抓取入口URL；b判断入口网页链接是否具有分页；c计算入口网页与其分页的公共链接；d通过公共链接获取有效链接；e结束；2)增量抓取阶段a构建布隆过滤器，并通过布隆过滤器判断步骤1)‑d中有效网页链接是否已经抓取；b通过HTTP请求抓取未抓取的网页；c结束；本发明采用过滤无效链接获取有效的网页链接，并构建布隆过滤器维持已抓取链接集合，通过随机哈希判断网页是否抓取实现增量抓取。通过过滤无效链接，避免无效网页的抓取。

主权项

有效链接获取的网页增量抓取方法，其特征是包括如下步骤：1) 有效链接获取阶段： a 初始化抓取网页链接，指定抓取入口URL； b 判断入口网页链接是否具有分页； c 计算入口网页与其分页的公共链接； d 通过公共链接获取有效链接； e 结束； 2) 增量抓取阶段： a 构建布隆过滤器，并通过布隆过滤器判断步骤 1)‑d 中有效网页链接是否已经抓取； b 通过 HTTP 请求抓取未抓取的网页； c 结束； 步骤 1)‑a 中抓取入口 URL 是指抓取程序以此 URL开始逐层抓取；步骤 1)‑b 中分页是指在网页中由于信息太多采用分页形式显示，每一页显示一部分信息；分页的具体判断方法如下： （1） 获取入口 URL 页面中所有的链接，保存集合 PageAllUrl 中；（2）通过匹配 PageAllUr l 中每个 URL 链接文本中是否为“下一页”或“下页”分页标志来判断是否有分页；步骤 1)‑c 中公共链接是指入口 URL 页面与其分页网页中相同的 URL，其具体计算方法如下：（1） 获取入口 URL 分页网页中所有的链接，保存集合 NextPageAllUrl 中；（2）比较集合 PageAllUrl 和集合 NextPageAllUrl ，找出它们相同的 URL 并保存在集合 CommonUrl 中，即公共链接集合 CommonUrl = PageAllUrl ∩ NextPageAllUrl；步骤 1)‑d 中有效链接是指非菜单、导航、广告无效链接，其具体方法如下：（1） 在步骤 1)‑b 中判断入口 URL 是否具有分页，如有执行 （2），否则执行（3）；（2） 从集合PageAllUrl 中链接去掉集合 CommonUrl 中链接，并将结果保存在集合 EffectiveUrl 中，即有效链接集合 EffectiveUrl=PageAllUrl‑CommonUrl ；（3） 分析入口 URL 链接，获取其主机域名 HostUrl；（4）判断集合 PageAllUrl 是否为空，如果不为空则执行（5），否则执行（8）；（5）从集合 PageAllUrl 中取出一个 Url；（6）判断 Url 是否是入口 URL 的前缀，如果是则执行（7），否则执行（4）；（7） 将 Url 加入有效链接集合 EffectiveUrl 中，执行（4）；（8） 结束。