[发明专利]一种爬虫爬取网页的方法及装置

权利要求书

1.一种爬虫爬取网页的方法，其特征在于，所述方法包括：

提取目标网页的第一链接个数，所述目标网页为待爬取的网页，所述第一链接个数为爬虫方式加载的网页中的链接数；

若所述第一链接个数小于预设阈值，则通过浏览器加载所述目标网页后进行爬取；

若所述第一链接个数不小于所述预设阈值，则通过浏览器加载所述目标网页后提取该目标网页的第二链接个数，所述第二链接个数为浏览器方式加载的网页中的链接数；

若所述第二链接个数大于所述第一链接个数，则对浏览器加载的所述目标网页进行爬取；

其中，在所述提取目标网页的第一链接个数之前，所述方法还包括：

获取待加载网页的URL；

查找所述浏览器数据库中，是否存在所述待加载网页的URL；

若存在，则通过浏览器加载所述待加载网页后进行爬取；

若不存在，则查找所述爬虫数据库中，是否存在所述待加载网页的URL；

若存在，则爬取所述待加载网页；

若不存在，则将所述待加载网页确定为所述目标网页。

2.根据权利要求1所述的方法，其特征在于，在所述提取目标网页的第一链接个数之前，所述方法还包括：

获取网页的超文本标记语言HTML源码；

判断所述网页是否属于导航页；

若所述网页为导航页，确定所述网页为目标网页。

3.根据权利要求1所述的方法，其特征在于，所述提取目标网页的第一链接个数，包括：

获取所述目标网页的超文本标记语言HTML源码；

在所述HTML源码中，查找预置的链接标识；

统计所述链接标识的个数；

将所述链接标识的个数，确定为所述第一链接个数。

4.根据权利要求1所述的方法，其特征在于，所述通过浏览器加载所述目标网页后提取该目标网页的第二链接个数，包括：

通过浏览器加载方式获取所述目标网页的HTML源码；

根据所述目标网页的HTML源码，提取所述目标网页的第二链接个数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标网页的资源定位符URL；

若所述目标网页通过浏览器加载，则将所述目标网页的URL存储在浏览器数据库中；

若所述目标网页不通过浏览器加载，则将所述目标网页的URL存储在爬虫数据库中。

6.一种爬虫爬取网页的装置，其特征在于，所述装置包括：

第一提取单元，用于提取目标网页的第一链接个数，所述目标网页为待爬取的网页，所述第一链接个数为爬虫方式加载的网页中的链接数；

爬取单元，用于若所述第一链接个数小于预设阈值，则通过浏览器加载所述目标网页后进行爬取；

第二提取单元，用于若所述第一链接个数不小于所述预设阈值，则通过浏览器加载所述目标网页后提取该目标网页的第二链接个数，所述第二链接个数为浏览器方式加载的网页中的链接数；

所述爬取单元，还用于若所述第二链接个数大于所述第一链接个数，则对浏览器加载的所述目标网页进行爬取；

其中，所述装置还包括：获取单元，用于在第一提取单元之前，获取待加载网页的URL；

第二判断单元，用于查找浏览器数据库中，是否存在待加载网页的URL；

所述爬取单元，还用于若存在，则通过浏览器加载待加载网页后进行爬取；

所述第二判断单元，还用于若不存在，则查找爬虫数据库中，是否存在待加载网页的URL；

所述爬取单元，还用于若存在，则爬取待加载网页；

所述爬取单元，还用于若不存在，则将待加载网页确定为目标网页。

7.根据权利要求6所述的装置，其特征在于，所述第一提取单元，包括：

获取模块，用于获取所述目标网页的超文本标记语言HTML源码；

查找模块，用于在所述HTML源码中，查找预置的链接标识；

统计模块，用于统计所述链接标识的个数；

确定模块，用于将所述链接标识的个数，确定为所述第一链接个数。