[发明专利]一种数据采集方法、设备及计算机可读存储介质

说明书

本发明公开了一种数据采集方法、设备及计算机可读存储介质，包括：接收含目标数据地址的采集指令；依据所述采集指令，生成请求对象；向所述目标数据地址发送所述请求对象；获得含目标数据的第一响应对象；解析所述含目标数据的第一响应对象，获得所述目标数据。应用本发明实施例所提供的数据采集方法，无需手动采集数据，可大规模快速采集目标数据。

技术领域

本发明涉及数据采集领域，尤其涉及一种数据采集方法、设备及计算机可读存储介质。

背景技术

随着信息时代的推进，很多情况下，人们可能需要在网络上采集数据供公司或者个人使用。对于数据采集而言，通常需要较大的数据量，但是传统数据采集的方式是手动在网络上进行采集，然后是手动对数据进行保存，效率很低，占用了大量的时间，十分耗费人力物力。

发明内容

本发明提供一种数据采集方法、设备及计算机可读存储介质，通过智能的数据采集方法对目标数据进行采集。

本发明一方面提供一种数据采集方法，包括：接收含目标数据地址的采集指令；依据所述采集指令，生成请求对象；向所述目标数据地址发送所述请求对象；获得含目标数据的第一响应对象；解析所述含目标数据的第一响应对象，获得所述目标数据。

在一种可实施方式中，所述向所述目标数据地址发送所述请求对象之后，还包括：获得含错误信息的第二响应对象；存储所述错误信息至异常数据库；通过分析所述异常数据库调整所述请求对象；其中，调整后的所述请求对象用于发送至所述目标数据地址。

在一种可实施方式中，所述解析所述含目标数据的第一响应对象，获得所述目标数据，包括：提取所述第一响应对象中的目标数据；对所述目标数据进行数据处理，获得去重整理的目标数据；存储所述去重整理的目标数据。

在一种可实施方式中，在所述解析所述含目标数据的第一响应对象，获得所述目标数据之后，所述方法还包括：从获得的所述目标数据中提取所述目标数据中其他目标数据地址；利用所述其他目标数据地址，生成含所述其他目标数据地址的其他采集指令；对所述其他采集指令去重处理，获得去重采集指令；其中，所述去重采集指令用于通过生成去重采集指令获得含其他目标数据的其他响应对象。

在一种可实施方式中，在所述接收含目标数据地址的采集指令之前，所述方法还包括：获取服务器相关配置；生成相应所述服务器配置的资源配置规则；其中，所述资源配置规则用于所述数据采集方法中的资源配置。

本发明另一方面提供一种数据采集设备，包括：采集模块，用于接收含目标数据地址的采集指令；生成模块，用于依据所述采集指令，生成请求对象；指令模块，用于向所述目标数据地址发送所述请求对象；获得模块，用于获得含目标数据的第一响应对象；解析模块，用于解析所述含目标数据的第一响应对象，获得所述目标数据。

在一种可实施方式中，还包括：所述获得模块，用于获得含错误信息的第二响应对象；存储模块，用于存储所述错误信息至异常数据库；调整模块，用于通过分析所述异常数据库调整所述请求对象；其中，调整后的所述请求对象用于发送至所述目标数据地址。

在一种可实施方式中，所述解析模块包括：提取子模块，用于提取所述第一响应对象中的目标数据；处理子模块，用于对所述目标数据进行数据处理，获得去重整理的目标数据；存储子模块，用于存储所述去重整理的目标数据。

在一种可实施方式中，还包括：提取模块，用于从获得的所述目标数据中提取所述目标数据中其他目标数据地址；所述生成模块，用于利用所述其他目标数据地址，生成含所述其他目标数据地址的其他采集指令；去重模块，用于对所述其他采集指令去重处理，获得去重采集指令；其中，所述去重采集指令用于通过生成去重采集指令获得含其他目标数据的其他响应对象。

在一种可实施方式中，还包括：获取模块，用于获取服务器相关配置；所述生成模块，还用于生成相应所述服务器配置的资源配置规则；其中，所述资源配置规则用于所述数据采集方法中的资源配置。