[发明专利]数据采集方法、装置、存储介质及电子设备

说明书

本申请实施例公开了一种数据采集方法、装置、存储介质及电子设备，涉及计算机技术领域。其中，方法包括：获取身份认证信息和数据获取请求；解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；存储所述第一目标数据。采用本申请实施例，可以采集目标服务器中的非公开内容，以及优化采集流程。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据采集方法、装置、存储介质及电子设备。

背景技术

现有技术中，对于目标服务器中公开内容的数据采集，一般通过具有采集功能的软件或硬件对目标服务器进行采集。例如，采集服务器自动从目标服务器中采集作为公开内容的网页数据以及将网页数据存储在采集服务器中。但该采集方法只能采集目标服务器中的公开内容，换而言之，目标服务器对采集服务器无任何限制时，采集服务器才能完成采集。而针对目标服务器中的非公开内容，现有技术中需要用户通过用户终端完成目标服务器的身份认证后，通过用户终端获取。当用户需要大量获取或长时间采集目标服务器中的非公开内容时，需要多次通过用户终端向目标服务器发送数据获取请求，甚至由于目标服务器的身份认证的时间有效性，用户需要多次通过目标服务器的身份认证并发送数据获取请求。

发明内容

本申请实施例提供了一种数据采集方法、装置、存储介质及电子设备，可以采集目标服务器中的非公开内容，以及优化采集流程。所述技术方案如下：

第一方面，本申请实施例提供了一种数据采集方法，所述方法包括：

获取身份认证信息和数据获取请求；

解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；

将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；

通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；其中，所述数据获取请求对应第二目标数据，所述第一目标数据和所述第二目标数据不相同；

存储所述第一目标数据。

第二方面，本申请实施例提供了一种数据采集装置，所述装置包括：

获取请求模块，用于获取身份认证信息和数据获取请求；

解析地址模块，用于解析所述数据获取请求获取目标地址，所述目标地址对应目标服务器；

发送认证模块，用于将所述身份认证信息发送至所述目标地址对应的目标服务器，以通过所述目标服务器的身份认证并与所述目标服务器建立通信连接；

获取数据模块，用于通过所述通信连接，将所述数据获取请求和数据采集请求发送至所述目标服务器，以获取目标服务器存储的所述数据采集请求对应的第一目标数据；其中，所述数据获取请求对应第二目标数据，所述第一目标数据和所述第二目标数据不相同；

存储数据模块，用于存储所述第一目标数据。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：