[发明专利]一种爬虫爬取网页的方法及装置

说明书

本发明公开了一种爬虫爬取网页的方法及装置，涉及互联网技术领域，为解决快速又全面的爬取网页资源的问题而发明。本发明的方法包括：提取目标网页的第一链接个数，所述目标网页为待爬取的网页；若所述第一链接个数小于第一预设阈值，则通过浏览器加载所述目标网页后进行爬取；若所述第一链接个数不小于所述第一预设阈值，则通过浏览器加载所述目标网页后提取该目标网页的第二链接个数；若所述第二链接个数大于所述第一链接个数，则对浏览器加载的所述目标网页进行爬取。本发明主要应用于爬虫爬取网页的过程中。

技术领域

本发明涉及互联网技术领域，尤其涉及一种爬虫爬取网页的方法及装置。

背景技术

爬虫是自动获取网页内容的程序，是搜索引擎的重要组成部分。在爬虫应用中，由于一些待爬取的网页中包含JS(JavaScript，Java脚本语言)、CSS(Cascading StyleSheets，层叠样式表)、图片等资源，若由爬虫直接对这些网页进行爬取，会造成爬取不全面的问题。只有通过浏览器对这些网页进行加载后再爬取，才能获取到这些资源。如果全部网页都通过浏览器加载后再爬取，会耗费巨大的浏览器加载成本，浏览器需要请求打开网页，并在加载成功后读取这些JS、CSS、图片等资源，速度是普通爬虫速度的十几倍。如果用人工检查哪些网页需要通过浏览器加载，上亿个网页的人工检查同样会耗费巨大的人力和时间成本。

因此，如何能既快速又全面的爬取网页资源，是目前亟待解决的问题。

发明内容

本发明提供了一种爬虫爬取网页的方法及装置，能够解决快速又全面的爬取网页资源的问题。

为了解决上述技术问题，一方面，本发明提供了一种爬虫爬取网页的方法，该方法包括：

提取目标网页的第一链接个数，所述目标网页为待爬取的网页；

若所述第一链接个数小于预设阈值，则通过浏览器加载所述目标网页后进行爬取；

若所述第一链接个数不小于所述预设阈值，则通过浏览器加载所述目标网页后提取该目标网页的第二链接个数；

若所述第二链接个数大于所述第一链接个数，则对浏览器加载的所述目标网页进行爬取。

另一方面，本发明提供了一种爬虫爬取网页的装置，该装置包括：

第一提取单元，用于提取目标网页的第一链接个数，所述目标网页为待爬取的网页；

爬取单元，用于若所述第一链接个数小于预设阈值，则通过浏览器加载所述目标网页后进行爬取；

第二提取单元，用于若所述第一链接个数不小于所述预设阈值，则通过浏览器加载所述目标网页后提取该目标网页的第二链接个数；

所述爬取单元，用于若所述第二链接个数大于所述第一链接个数，则对浏览器加载的所述目标网页进行爬取。

本发明提供的一种爬虫爬取网页的方法及装置，通过提取目标网页的第一链接个数，比较第一链接个数与预设阈值的大小。若第一链接个数小于预设阈值，则通过浏览器加载目标网页后进行爬取。若第一链接个数不小于预设阈值，则通过浏览器加载网页后提取目标网页的第二链接个数。若第二链接个数大于第一链接个数，则对浏览器加载的目标网页进行爬取。与现有技术相比，本发明能够快速又全面的爬取网页资源，通过爬虫方式快速地爬取目标网页，节省时间成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明