[发明专利]网络爬取方法和装置

说明书

技术领域

本发明涉及通信技术，尤其涉及一种网络爬取方法和装置。

背景技术

随着网络资源的不断丰富，越来越多的平台需要大量的数据支撑才能完成相应的功能。通常获取数据资源的渠道包括：通过托管平台登录后获得数据、直接连接其他系统的数据库以及采用数据接口的方式进行数据对接。但这些渠道或多或少会出现无法获取相关数据、成本较高的问题。因此，目前采用网络爬取技术对网页上的数据进行爬取，以便于平台寻找到网页和相关数据。

由于curl(CommandLine Uniform Resource Locator)函数支持GET、POST等浏览器行为，能够达到一个模拟浏览器操作的目的，因此，在现有网络爬取方法中，通常使用RCurl程序包中的curl函数完成网页数据的抓取过程，进而获取网页上的数据。然而，仅采用curl函数的现有网络爬取方法curl无法完成数据量较大的爬取任务。因此，亟需一种能够爬取大量数据的网络爬取方法。

发明内容

本发明提供一种网络爬取方法和装置，以以解决现有的网络爬取方法无法完成数量量较大的爬取任务的问题。

第一方面，本发明提供一种网络爬取方法，应用于网络爬取系统，所述网络爬取系统包括：一个主节点和多个子节点，针对任一子节点，所述方法包括：

所述子节点接收所述主节点发送的子任务，所述子任务中包括爬取任务的任务类型以及所述子节点对应的搜索组中的网站地址，所述搜索组中包括至少一个网站地址，所述搜索组是所述主节点根据分布式编程框架map-reduce和所述爬取任务的任务类型，对所述至少一个网站地址进行划分得到的；

所述子节点根据所述子任务进行爬取，将得到的爬取数据存储到本地存储器中；

所述子节点在所述本地存储器中进行查询，得到查询结果，并向所述主节点发送所述查询结果。

可选地，所述子节点根据所述子任务进行爬取，所述将得到的爬取数据存储到本地存储器中，包括：

所述子节点对所述子任务中的网站地址进行遍历连接，得到连接成功的第一网站地址和连接失败的第二网站地址；

所述子节点获取所述第一网站地址中待爬取的网页数据页对应的链接；

所述子节点对所述第一网站地址中各所述待爬取的网页数据页对应的链接进行遍历连接，得到连接成功的第一链接和连接失败的第二链接；

所述子节点根据所述爬取任务的任务类型，对所述第一链接对应的各所述网页数据进行过滤处理，得到所述第一链接对应的网页数据；

所述子节点对所述第一链接对应的网页数据进行解析，得到目标爬取数据；

所述子节点将所述目标爬取数据以及对应的第一链接存储到所述本地存储器中。

可选地，所述方法还包括：

所述子节点重新连接所述第二链接，并判断所述子节点是否与所述第二链接连接成功；

若是，则所述子节点根据所述爬取任务的任务类型，对所述第二链接对应的各所述网页数据进行过滤处理，得到所述第二链接对应的网页数据，并对所述第二链接对应的网页数据进行解析，得到所述目标爬取数据，并将所述目标爬取数据以及对应的第二链接存储到所述本地存储器中；

若否，重复执行连接所述第二链接，并判断所述子节点是否与所述第二链接连接成功的操作，若在重复连接的次数超过第一预设次数时，则所述子节点将所述第二链接存储到所述本地存储器中。

可选地，所述方法还包括：

所述子节点重新连接所述第二网站地址，并判断所述子节点是否与所述第二网站地址连接成功；

若是，所述子节点获取所述第二网站地址中待爬取的网页数据页对应的链接；

所述子节点对所述第二网站地址中各所述待爬取的网页数据页对应的链接进行遍历连接，得到连接成功的第三链接和连接失败的第四链接；

所述子节点根据所述爬取任务的任务类型，对所述第三链接对应的各所述网页数据进行过滤处理，得到所述第三链接对应的网页数据；

所述子节点对所述第三链接对应的网页数据进行解析，得到所述目标抓取数据；

所述子节点将所述目标爬取数据以及对应的第三链接存储到所述本地存储器中；

若否，重复执行连接所述第二网站地址，并判断所述子节点是否与所述第二网站地址连接成功的操作，若在重复连接的次数超过第二预设次数时，则所述子节点将所述第二网站地址存储到所述本地存储器中。

可选地，所述方法还包括：

所述子节点重新连接所述第四链接，并判断所述子节点是否与所述第四链接连接成功；