[发明专利]数据处理方法、爬虫装置、介质及电子设备

说明书

本发明涉及一种数据处理方法、爬虫装置、介质及电子设备。一种数据处理方法，包括：获取与爬虫任务相关的配置数据；获取执行爬虫任务下载得到的返回数据；利用从配置数据中获取的与返回数据的解析相关的信息，对返回数据进行解析，获得期望提取的结果数据；确定返回数据的类型是否为第一类型，如果否，则将结果数据转换为第一类型的结果数据，否则，则不对结果数据进行转换；存储第一类型的结果数据。根据本发明的方案，能够不受限于所爬取目标对象的类型而统一地管理所爬取的数据，便于对所爬取数据的后续管理、维护及各种处理。

技术领域

本发明涉及计算机网络技术领域，具体涉及一种数据处理方法、爬虫装置、介质及电子设备。

背景技术

现有的爬虫工具有例如八爪鱼，其预先爬取了主流网站的数据，用户可以在该工具中选取其需要的网站上的某些类型的数据，例如标题、价格、名称等，该工具主要针对小白用户而设计，优点是简单易用，缺点是只能满足简单需求；此外，还有名称为火车头采集器的爬虫工具，该工具针对有相关爬虫经验的用户设计，用户可以在其上进行一些简单的配置，包括提交URL、表达式等，但同样不能满足较为复杂的需求。

现有的爬虫工具一般针对PC端开发，对PC机上网页数据进行爬取，较少针对APP端的数据进行爬取。当前，由于智能手机等移动设备中APP的广泛应用，APP端的数据量也越来越大，对APP端数据进行爬取的需求也越来越多。

发明内容

因此，存在同时实现对PC端数据和APP端数据进行爬取的通用爬虫引擎的需要。

本发明的目的在于，提供一种数据处理方法，能够使爬虫引擎不受限于所爬取目标对象的类型而统一地管理所爬取的数据。

根据本发明的一个方案，提供了一种数据处理方法，包括：获取与爬虫任务相关的配置数据；获取执行所述爬虫任务下载得到的返回数据；利用从所述配置数据中获取的与所述返回数据的解析相关的信息，对所述返回数据进行解析，获得期望提取的结果数据；确定所述返回数据的类型是否为第一类型，如果否，则将所述结果数据转换为第一类型的结果数据，否则，则不对结果数据进行转换；存储第一类型的结果数据。

根据本发明的另一个方案，还提供一种爬虫装置，包括：配置数据获取模块，其配置为获取与爬虫任务相关的配置数据；返回数据获取模块，其配置为获取执行所述爬虫任务下载得到的返回数据；解析模块，其配置为利用从所述配置数据中获取的与所述返回数据的解析相关的信息，对所述返回数据进行解析，获得期望提取的结果数据；转换模块，其配置为确定所述返回数据的类型是否为第一类型，如果否，则将所述结果数据转换为第一类型的结果数据，否则，不对结果数据进行转换；存储模块，其配置为存储第一类型的结果数据。

根据本发明的再一个方案，提供了一种非临时性计算机可读介质，其上存储有计算机可执行代码，所述计算机可执行代码在被处理器执行时实现所述的方法。

根据本发明的还一个方案，提供了一种电子设备，包括处理器、存储器以及其上存储的计算机可执行代码，当所述处理器执行所述计算机可执行代码时实现所述的方法。

根据本发明的方案，能够不受限于所爬取目标对象的类型而统一地管理所爬取的数据，便于对所爬取数据的后续管理、维护及各种处理。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在类型的视图中描述相似的部件。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同或相似的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本系统或方法的穷尽或排他实施例。

图1是本发明实施例的描述本发明实施例的一种数据处理方法的流程示意图。

图2是本发明实施例的描述本发明另一实施例的一种数据处理方法的流程示意图。