[发明专利]一种数据采集方法、设备及计算机可读存储介质

权利要求书

1.一种数据采集方法，其特征在于，包括：

接收含目标数据地址的采集指令；

依据所述采集指令，生成请求对象；

向所述目标数据地址发送所述请求对象；

获得含目标数据的第一响应对象；

解析所述含目标数据的第一响应对象，获得所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述向目标数据地址发送所述请求对象之后，还包括：

获得含错误信息的第二响应对象；

存储所述错误信息至异常数据库；

通过分析所述异常数据库调整所述请求对象；

其中，调整后的所述请求对象用于发送至所述目标数据地址。

3.根据权利要求1所述的方法，其特征在于，所述解析含目标数据的第一响应对象，获得所述目标数据，包括：

提取所述第一响应对象中的目标数据；

对所述目标数据进行数据处理，获得去重整理的目标数据；

存储所述去重整理的目标数据。

4.根据权利要求3所述的方法，其特征在于，在所述解析含目标数据的第一响应对象，获得所述目标数据之后，所述方法还包括：

从获得的所述目标数据中提取所述目标数据中其他目标数据地址；

利用所述其他目标数据地址，生成含所述其他目标数据地址的其他采集指令；

对所述其他采集指令去重处理，获得去重采集指令；

其中，所述去重采集指令用于通过生成去重采集指令获得含其他目标数据的其他响应对象。

5.根据权利要求1所述的方法，其特征在于，在所述接收含目标数据地址数据的采集指令之前，所述方法还包括：

获取服务器相关配置；

生成相应所述服务器配置的资源配置规则；

其中，所述资源配置规则用于所述数据采集方法中的资源配置。

6.一种数据采集设备，其特征在于，包括：

采集模块，用于接收含目标数据地址的采集指令；

生成模块，用于依据所述采集指令，生成请求对象；

指令模块，用于向所述目标数据地址发送所述请求对象；

获得模块，用于获得含目标数据的第一响应对象；

解析模块，用于解析所述含目标数据的第一响应对象，获得所述目标数据。

7.根据权利要求6所述的设备，其特征在于，还包括：

所述获得模块，用于获得含错误信息的第二响应对象；

存储模块，用于存储所述错误信息至异常数据库；

调整模块，用于通过分析所述异常数据库调整所述请求对象；其中，调整后的所述请求对象用于发送至所述目标数据地址。

8.根据权利要求6所述的设备，其特征在于，所述解析模块包括：

提取子模块，用于提取所述第一响应对象中的目标数据；

处理子模块，用于对所述目标数据进行数据处理，获得去重整理的目标数据；

存储子模块，用于存储所述去重整理的目标数据。

9.根据权利要求8所述的设备，其特征在于，还包括：

提取模块，用于从获得的所述目标数据中提取所述目标数据中其他目标数据地址；

所述生成模块，用于利用所述其他目标数据地址，生成含所述其他目标数据地址的其他采集指令；

去重模块，用于对所述其他采集指令去重处理，获得去重采集指令；其中，所述去重采集指令用于通过生成去重采集指令获得含其他目标数据的其他响应对象。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，当所述指令被执行时，用于执行权利要求1-5任一项所述数据采集方法。