[发明专利]一种基于内存数据库的分布式爬虫框架及实现方法

权利要求书

1.一种基于内存数据库的分布式爬虫框架及实现方法，其特征是：

所述的分布式爬虫框架包括以下模块：生产者爬虫、消费者爬虫、过滤器以及内存数据库、消息队列、存储介质；

所述的分布式爬虫实现方法包括以下步骤：

a、根据项目所需要的数据信息，生产者爬虫不断地从网络中提取相应的url地址；

b、过滤器将生产者爬虫提取的url进行去重处理；

c、内存数据库存储去重处理后的种子url队列，同时存储过滤器的位数组，并且向消费者爬虫调度分配url任务；

d、消费者爬虫循环地向内存数据库请求url任务，根据url地址进行实际的数据抓取，抓取数据后将数据保存至存储介质，并且在数据抓取过程中提取出待爬取的url，将爬取的url交给过滤器处理；

e、存储介质持久化保存实际数据、存储消费者爬虫抓取的原始数据。

2.根据权利要求1所述的分布式爬虫框架及实现方法，其特征是：所述的过滤器采用布隆过滤器。

3.根据权利要求2所述的分布式爬虫框架及实现方法，其特征是：所述的布隆过滤器利用布隆过滤算法对url进行判重，如果布隆过滤器判重结果为否，则表示url尚未加入到待抓取的种子url队列中，继而存储到种子url队列；如果布隆过滤器判重结果为是，则表示此url已经存储，直接丢弃。

4.根据权利要求1所述的分布式爬虫框架及实现方法，其特征是：所述的Redis集群采用3组4核CPU、8G内存服务器。

5.根据权利要求4所述的分布式爬虫框架及实现方法，其特征是：所述的过滤器利用Redis集群的服务器搭建。

6.根据权利要求1所述的分布式爬虫框架及实现方法，其特征是：所述的生产者爬虫和消费者爬虫采用若干4核CPU、4G内存服务器。