[发明专利]分布式爬虫的集中管理系统

权利要求书

1.一种分布式爬虫的集中管理系统，其特征在于，所述集中管理系统包括主机服务器和与所述主机服务器通信的多台从机服务器，所述主机服务器和所述从机服务器使用Scrapy框架进行布局，且所述scrapy框架使用redis队列进行统一资源定位符URL的管理；

其中，所述scrapy框架包含引擎、调度器、下载器、爬虫、管道以及中间件；

所述redis队列、所述调度器、所述引擎及所述管道布局在所述主机服务器，所述下载器、所述爬虫及所述中间件布局在所述从机服务器上；

所述从机服务器用于向所述主机服务器发送request；

所述主机服务器用于基于所述request分配对应的URL，并向所述从机服务器反馈包含所述URL的request；

所述从机服务器还用于根据所述包含URL的request进行解析及数据提取，并将提取的数据存储到预设的数据库中。

2.根据权利要求1所述一种分布式爬虫的集中管理系统，其特征在于，所述Scrapy框架与Django对接。

3.根据权利要求1所述一种分布式爬虫的集中管理系统，其特征在于，所述主机服务器中设置有爬虫，所述主机服务器调用所述爬虫从网络获取URL，并进行去重处理，将去重之后的URL按照优先级添加至所述redis队列。

4.根据权利要求1所述一种分布式爬虫的集中管理系统，其特征在于，所述从机服务器还用于根据所述包含URL的request进行解析及数据提取，并将提取的数据存储到预设的数据库中，包括：

所述从机服务器具体用于从所述包含URL的request中提取URL，并由所述下载器下载所述URL对应的页面，通过所述爬虫按照预设的匹配规则对所述页面进行解析及数据提取，并将提取的数据发送给所述主机服务器中的管道，所述管道则用于将所述提取的数据存储至所述预设的数据库中。

5.根据权利要求4所述一种分布式爬虫的集中管理系统，其特征在于，所述从机服务器采用多线程的方式对所述页面进行解析及数据提取。

6.根据权利要求5所述一种分布式爬虫的集中管理系统，其特征在于，所述多线程的数量由CONCURRENT_REQUESTS模块确定。

7.根据权利要求4所述一种分布式爬虫的集中管理系统，其特征在于，所述从机服务器中的爬虫继承爬虫功能及RedisMixin，所述RedisMixin用于从所述包含URL的request中提取URL。

8.根据权利要求7所述一种分布式爬虫的集中管理系统，其特征在于，继承所述爬虫功能时，调用steupsetup_redis函数，所述setup_redis函数用于连接redis队列。

9.根据权利要求4所述一种分布式爬虫的集中管理系统，其特征在于，当所述从机服务器中的爬虫处于空闲状态时，调用spider_idle函数，所述spider_idle函数用于调用schedule_next_request函数，以使得所述爬虫处于活着状态，且抛出DontCloseSpider异常。

10.根据权利要求4所述一种分布式爬虫的集中管理系统，其特征在于，当所述从机服务器中的爬虫解析到数据时，调用item_scraped函数，所述item_scraped函数用于调用schedule_next_request函数，获取下一个request。