[发明专利]一种数据获取方法、装置、电子设备和存储介质

说明书

本公开提供了一种数据获取方法、装置、电子设备和存储介质，其中，该方法包括：响应于数据获取请求，基于其指示的资源定位标识，确定请求队列描述信息；将数据获取请求存储在与其匹配的请求队列中；响应于下载器发送的队列获取指令，将当前存储的请求队列对应的请求队列描述信息发送给下载器，以使下载器基于当前响应的数据获取请求的请求队列描述信息，从各请求队列的请求队列描述信息中提取目标请求队列描述信息；目标请求队列描述信息与下载器当前响应中的数据获取请求对应的请求队列描述信息不同；响应于下载器发送的请求获取指令，从其指令指示的目标请求队列描述信息对应的目标请求队列中，提取目标数据获取请求，将其发送至下载器。

技术领域

本公开涉及数据采集领域，具体而言，涉及一种数据获取方法、装置、电子设备和存储介质。

背景技术

目前，数据呈现爆炸增长的趋势，如何快速高效地采集并利用这些数据成为了新的挑战，实际操作中，可通过网络爬虫或网站公开API等方式从网站上获取数据信息。

网络爬虫中最常见的是分布式爬虫，可采集大规模的数据，分布式爬虫中，为提高效率，可拥有多个下载器，分布式运行，为避免不同下载器响应同一数据获取请求造成资源浪费，通常采用单一请求队列，且不同下载器不能同时处理同一请求队列中相同站点的爬虫请求，因此，当同一队列中存在相邻的相同站点的爬虫请求时，可能会导致队列中的请求不能及时出队，造成下载资源的浪费。

发明内容

本公开实施例至少提供一种数据获取方法、装置、电子设备和存储介质。

第一方面，本公开实施例提供了一种数据获取方法，包括：

响应于数据获取请求，基于所述数据获取请求指示的资源定位标识，确定请求队列描述信息；所述请求队列描述信息中包含域名指示信息；

将所述数据获取请求存储在与所述请求队列描述信息匹配的请求队列中；

响应于下载器发送的队列获取指令，将当前存储的各所述请求队列对应的请求队列描述信息发送给所述下载器，以使所述下载器基于当前响应的数据获取请求对应的请求队列描述信息，从各所述请求队列对应的请求队列描述信息中提取目标请求队列描述信息；其中，所述目标请求队列描述信息与所述下载器当前响应中的数据获取请求对应的请求队列描述信息不同；

响应于所述下载器发送的请求获取指令，从所述请求获取指令指示的目标请求队列描述信息对应的目标请求队列中，提取目标数据获取请求，并将所述目标数据获取请求发送至所述下载器。

一种可选的实施方式中，所述基于所述数据获取请求指示的资源定位标识，确定请求队列描述信息；所述请求队列描述信息中包含域名指示信息，包括：

从所述资源定位标识中，分别提取出所述数据获取请求对应的域名信息、传输协议信息以及端口信息；

基于所述域名信息、所述传输协议信息以及所述端口信息，确定请求队列描述信息。

一种可选的实施方式中，所述将所述数据获取请求存储在与所述请求队列描述信息匹配的请求队列中，包括：

查询与所述请求队列描述信息匹配的请求队列，并将所述数据获取请求存储在查询到的请求队列中；

在未能查询到与所述请求队列描述信息匹配的请求队列时，生成与所述请求队列描述信息匹配的请求队列，并将所述数据获取请求存储在生成的请求队列中。

一种可选的实施方式中，所述从所述请求获取指令指示的目标请求队列描述信息对应的目标请求队列中，提取目标数据获取请求，包括：

确定所述目标请求队列的队列类型；所述队列类型包括先进先出队列及优先级队列中的至少一种；

基于所述队列类型对应的出队方式，从所述目标请求队列中确定出目标数据获取请求。