[发明专利]一种数据获取方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种数据获取方法、装置、电子设备及存储介质，该方法包括：集群中的每个处理模块都可以从分布式队列中获取爬取请求，处理模块根据获取到的爬取请求爬取数据后，如果数据中仍包括链接，则可以继续将该链接封装成新的爬取请求，将该新的爬取请求投递至分布式队列中，这样，各处理模块可以并行爬取数据，提高了爬取效率。

技术领域

本申请涉及网络爬虫技术领域，特别是涉及一种数据获取方法、装置、电子设备及存储介质。

背景技术

网络中的数据量越来越大，仅通过人工搜索、肉眼解析已经远不能有效的利用网络中的数据。目前，一般通过网络爬虫爬取网络中的数据。网络爬虫(又被称为网页蜘蛛，网络机器人等)，是一种按照一定的规则，自动爬取网络中数据的程序或者脚本。

一些相关的网络爬虫一般基于单台设备在网络中爬取数据，这样，爬取数据的效率较低。

发明内容

本申请实施例的目的在于提供一种数据获取方法、装置、电子设备及存储介质，以提高爬取效率。

为达到上述目的，本申请实施例提供了一种数据获取方法，应用于集群中的每个处理模块，所述集群中包括多个处理模块，所述方法包括：

从分布式队列中获取爬取请求；

根据所获取的爬取请求爬取数据；

将所爬取的数据中包括的链接封装为新的爬取请求；

将所述新的爬取请求投递至所述分布式队列中。

可选的，所述将所爬取的数据中包括的链接封装为新的爬取请求，包括：

读取所爬取的数据中的链接，作为待处理链接；

获取所述待处理链接对应的用户代理信息；

将所获取的用户代理信息和所述待处理链接封装为新的爬取请求。

可选的，所述获取所述待处理链接对应的用户代理信息，包括：

从所述集群的数据池中获取以下任意一种或多种所述待处理链接对应的用户代理信息：代理IP、Cookie、源请求方信息、代理浏览器信息。

可选的，所述根据所获取的爬取请求爬取数据，包括：对所述爬取请求进行校验，若所述爬取请求通过校验，则根据所述爬取请求爬取数据；

和/或，在所述根据所获取的爬取请求爬取数据之后，还包括：

对所爬取的数据进行校验，删除未通过校验的数据。

可选的，在所述对所述爬取请求进行校验之后，还包括：

记录所述爬取请求的校验结果，作为第一校验结果；若所述爬取请求未通过校验，则基于所述第一校验结果，判断所述爬取请求未通过校验的次数是否小于第一预设阈值；如果小于，返回执行所述对所述爬取请求进行校验的步骤；

在所述对所爬取的数据进行校验之后，还包括：记录所爬取的数据的校验结果，作为第二校验结果；

所述删除未通过校验的数据，包括：若所爬取的数据未通过校验，则基于所述第二校验结果，判断所爬取的数据未通过校验的次数是否小于第二预设阈值；如果小于，返回执行所述对所爬取的数据进行校验的步骤；如果不小于，删除所爬取的数据。

可选的，所述对所述爬取请求进行校验，包括：对所述爬取请求进行以下任意一种或多种校验处理：去重处理、黑名单过滤；

所述对所爬取的数据进行校验，包括：对所爬取的数据进行以下任意一种或多种校验处理：去重处理、黑名单过滤。

可选的，在所述根据所获取的爬取请求爬取数据之后，还包括：