[发明专利]数据处理方法、爬虫装置、介质及电子设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取与爬虫任务相关的配置数据；

获取执行所述爬虫任务下载得到的返回数据；

确定所述返回数据的类型；

利用从所述配置数据中获取的与所述返回数据的解析相关的信息，对所述返回数据进行解析，获得期望提取的结果数据；

如果确定出的所述返回数据的类型为第一类型，存储第一类型的结果数据，否则，将所述结果数据转换为第一类型的结果数据后，存储转换后的结果数据。

2.根据权利要求1所述的方法，其特征在于，所述确定所述返回数据的类型是否为第一类型，包括：从所述配置数据中获取所述返回数据的类型。

3.根据权利要求1所述的方法，其特征在于，还包括：

从所述配置数据中获取唯一标识表达式；

基于所述唯一标识表达式，确定所述返回数据的唯一标识；

将所述唯一标识封装在第一类型的所述结果数据中。

4.根据权利要求3所述的方法，其特征在于，还包括：

从所述配置数据中获取所述唯一标识的来源信息；并且其中

所述基于所述唯一标识表达式，确定所述返回数据的唯一标识，包括：

基于所述唯一标识的来源信息，利用所述唯一标识表达式从获取所述唯一标识。

5.根据权利要求1所述的方法，其特征在于：

所述数据类型包括第一类型和第二类型，所述第一类型为JSON类型，所述第二类型为html类型。

6.根据权利要求1所述的方法，其特征在于：

所述数据类型包括第一类型、第二类型以及第二类型包含第一类型的混合数据类型；并且其中

所述的利用从所述配置数据中获取的与所述返回数据的解析相关的信息，对返回数据进行解析，获得期望提取的结果数据，包括：

当所述数据类型为所述混合数据类型时，提取所述返回数据中为第一类型的返回数据，对提取出的返回数据进行所述解析。

7.一种爬虫装置，其特征在于，包括：

配置数据获取模块，其配置为获取与爬虫任务相关的配置数据；

返回数据获取模块，其配置为获取执行所述爬虫任务下载得到的返回数据；

解析模块，其配置为利用从所述配置数据中获取的与所述返回数据的解析相关的信息，对所述返回数据进行解析，获得期望提取的结果数据；

转换模块，其配置为确定所述返回数据的类型是否为第一类型，如果否，则将所述结果数据转换为第一类型的结果数据，否则，不对结果数据进行转换；

存储模块，其配置为存储第一类型的结果数据。

8.根据权利要求7所述的装置，其特征在于，还包括：

唯一标识确定模块，其配置为：从所述配置数据中获取唯一标识表达式，并基于所述唯一标识表达式，确定所述返回数据的唯一标识；

封装模块，其配置为：将所述唯一标识封装在第一类型的所述结果数据中。

9.一种非临时性计算机可读介质，其上存储有计算机可执行代码，其特征在于，所述计算机可执行代码在被处理器执行时实现根据权利要求1～6中任一项所述的方法。

10.一种电子设备，包括处理器、存储器以及其上存储的计算机可执行代码，其特征在于，当所述处理器执行所述计算机可执行代码时实现如权利要求1～6中任一项所述的方法。