[发明专利]批量爬虫任务的处理方法和装置

说明书

本发明公开了一种批量爬虫任务的处理方法和装置。其中，该方法包括：获取具有相同配置信息的多个爬取网址；基于配置信息和多个爬取网址生成爬虫任务；将爬虫任务注入爬虫程序；利用爬虫程序执行爬虫任务，得到多个爬取网址的爬取结果。本发明解决了处理具有相同配置信息的批量爬取任务的效率低的技术问题。

技术领域

本发明涉及爬虫任务处理领域，具体而言，涉及一种批量爬虫任务的处理方法和装置。

背景技术

在现有的临时爬虫技术中,在爬取每一个网站(Url，网络资源地址)之前,会设置相关的爬取配置信息,如爬取深度、爬取页数以及是否是目录页等配置信息。在爬虫程序中就会根据这些配置信息进行相应的爬取处理，最终将爬取此网站的结果存储在数据库中或者某个文件中。但这样的爬取过程一个网址只对应一个任务，一个任务只对应一个存储结果。当一批具有相同配置信息的任务需要爬取时，则需要重复操作注入这一个过程，这对于爬虫的使用者而言，效率比较低下。另外，如果使用者需要将多个相同配置信息的爬取任务存储在同一个结果里，此时的操作就相当的繁琐：首先需要找到每个任务的唯一标识，然后再将这些任务的爬取结果进行解析，最后综合成一个结果，这种爬取方式显然效率比较低下。

针对上述处理具有相同配置信息的批量爬取任务的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种批量爬虫任务的处理方法和装置，以至少解决处理具有相同配置信息的批量爬取任务的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种批量爬虫任务的处理方法，该方法包括：获取具有相同配置信息的多个爬取网址；基于配置信息和多个爬取网址生成爬虫任务；将爬虫任务注入爬虫程序；利用爬虫程序执行爬虫任务，得到多个爬取网址的爬取结果。

进一步地，在利用所述爬虫程序执行所述爬虫任务，得到所述多个爬取网址的爬取结果之后，所述方法还包括：将所述多个爬取网址的爬取结果记录在同一个结果文件中。

进一步地，每个所述爬取网址对应一个标识，所述将所述多个爬取网址的爬取结果记录在同一个结果文件中包括：根据每个所述爬取网址对应的所述标识将所述多个爬取网址的爬取结果记录在同一个结果文件中。

进一步地，基于所述配置信息和所述多个爬取网址生成爬虫任务包括：将所述配置信息作为爬虫任务的配置信息；将所述多个爬取网址注入所述爬虫任务的指定字段中，所述指定字段为元素集合，所述元素集合包括多个元素对象，每个所述元素对象用于保存注入所述爬虫任务的一个爬取网址。

进一步地，利用所述爬虫程序执行所述爬虫任务，得到所述多个爬取网址的爬取结果包括：将所述爬虫任务拆分成多个子任务，其中，每个所述子任务对应一个所述爬取网址；执行所述多个子任务，得到所述多个爬取网址的爬取结果。

进一步地，将所述爬虫任务注入爬虫程序包括：对所述爬虫任务进行序列化得到任务信息，并将所述任务信息注入所述爬虫程序；以及将所述爬虫任务拆分成多个子任务包括：将所述爬虫程序中的任务信息反序列化成所述爬虫任务；基于所述爬虫任务对应的多个所述爬取网址将所述爬虫任务拆分成多个所述子任务，使每个所述子任务对应一个所述爬取网址。

进一步地，执行所述多个子任务，得到所述多个爬取网址的爬取结果包括：对每个所述子任务进行序列化，并将序列化后的各个所述子任务发送至预先创建的爬取消息队列；启动所述爬虫程序，执行所述爬取消息队列中的每个所述子任务，得到每个所述子任务对应的爬取网址的爬取结果。

根据本发明实施例的另一方面，还提供了一种批量爬虫任务的处理装置，该装置可以包括：第一获取单元，用于获取具有相同配置信息的多个爬取网址；生成单元，用于基于配置信息和多个爬取网址生成爬虫任务；注入单元，用于将爬虫任务注入爬虫程序；执行单元，用于利用爬虫程序执行爬虫任务，得到多个爬取网址的爬取结果。