[发明专利]一种异步爬虫系统及数据爬取方法

说明书

本申请提供了一种异步爬虫系统及数据爬取方法，其中，异步爬虫系统包括业务层模块和服务层模块；业务层模块在接收到来自终端的爬虫需求时，根据爬虫需求生成爬虫请求，将生成的爬虫请求进行缓存；服务层模块从已缓存的爬虫请求中取爬虫请求至Celery队列；利用Celery系统的多个任务执行单元并行爬取Celery队列中多个爬虫请求分别对应的数据，并将针对每个爬虫请求爬取的数据进行整合，以获得每个爬虫请求对应的目标数据；以及利用Celery系统将每个爬虫请求对应的目标数据返回给业务层模块，以供终端从业务层模块获取。本申请能够大大提高数据爬取效率，且当面对源源不断的爬虫需求时，能够快速地进行响应。

技术领域

本申请涉及数据爬取技术领域，尤其涉及一种异步爬虫系统及数据爬取方法。

背景技术

目前的数据爬取方法都是非异步的，即，终端产生爬虫需求信息给服务器，等待服务器进行响应，服务器在获得爬虫需求信息后，做爬虫准备，调用爬虫方法，执行爬虫方法爬取数据，将爬取的数据响应给终端。现有的数据爬取方法的爬取效率较低，并且，当终端产生源源不断的爬虫需求信息时，服务器侧会因爬虫需求信息大而阻塞，进而影响服务。

发明内容

有鉴于此，本申请提供了一种异步爬虫系统及数据爬取方法，用以解决现有技术中的数据爬取方法的爬取效率较低，并且，当终端产生源源不断的爬虫需求信息时，服务器侧会因爬虫需求信息大而阻塞，进而影响服务的问题，其技术方案如下：

一种异步爬虫系统，包括：业务层模块和服务层模块；

所述业务层模块，用于当接收到来自终端的爬虫需求信息时，根据所述爬虫需求信息生成爬虫请求，并将生成的爬虫请求进行缓存；

所述服务层模块，用于从已缓存的爬虫请求中取爬虫请求至Celery任务队列中；利用Celery系统的多个任务执行单元并行爬取所述Celery任务队列中多个爬虫请求分别对应的数据；利用所述Celery系统将针对每个爬虫请求爬取的数据进行整合，以获得每个爬虫请求对应的目标数据；以及利用所述Celery系统将每个爬虫请求对应的目标数据返回给所述业务层模块，以供所述终端从所述业务层模块获取。

可选的，所述服务层模块在利用所述Celery系统的一任务执行单元爬取一爬虫请求对应的数据时，具体用于：

利用所述Celery系统的该任务执行单元并行地从多个数据爬取途径爬取该爬虫请求对应的数据。

可选的，所述服务层模块在利用所述Celery系统的该任务执行单元并行地从多个数据爬取途径爬取该爬虫请求对应的数据时，具体用于：

通过调用gevent协程包，加载爬虫任务，并行地从多个数据爬取途径爬取该爬虫请求对应的数据；

其中，一个爬虫任务对应一个数据爬取途径，任一爬取任务用于从对应的数据爬取途径爬取数据。

可选的，所述爬虫请求中至少包括：目标词和回调地址，所述爬虫请求用于请求爬取与所述目标词相关的词；

所述服务层模块在利用所述Celery系统将每个爬虫请求对应的目标数据返回给所述业务层模块时，具体用于：

根据每个爬虫请求中的回调地址，将每个爬虫请求对应的目标数据返回给所述业务层模块。

可选的，所述爬虫请求中还包括：词库标识；

所述业务层模块，还用于在获得每个爬虫请求对应的目标数据后，将每个爬虫请求对应的目标数据存入对应爬虫请求中的词库标识对应的词库中。

一种数据爬取方法，应用于服务器，所述服务器包括业务层模块和服务层模块，所述方法包括：

当接收到来自终端的爬虫需求信息时，利用所述业务层模块和所述爬虫需求信息生成爬虫请求，并将生成的爬虫请求进行缓存；