[发明专利]一种基于队列的数据爬取方法

权利要求书

1.一种基于队列的数据爬取方法，其特征在于，包括以下步骤：

步骤1，通过页面获取列表url，将url存入到redis队列basicPage；

步骤2，多线程获取basicPage中的url，解析出基本信息，并通过详情url作为key，解析出来的json存入到redis，同时将详情页的url存入到detailsPage；

步骤3，多线程获取detailsPage，获取url的唯一标识符为key的对应的json，并将详情页中的信息解析出来，加入到对应的json中；

步骤4，详情页解析完成后，将json存入到mysql中，并删除redis中url的唯一标识符为key。

2.如权利要求1所述的一种基于队列的数据爬取方法，其特征在于，所述步骤2中，PageProcessor解析出需要的列表，Pipeline将对应列表存入到redis的队列basicPage中。

3.如权利要求1所述的一种基于队列的数据爬取方法，其特征在于，所述步骤3中，多线程从basicPage队列中获取到基础页的url；从基础页面获取到详情页的url且以详情页的url为key，其他信息组装成json存入到redis中。

4.如权利要求1所述的一种基于队列的数据爬取方法，其特征在于，所述步骤3中，获取到详情页的url，存入到redis队列detailsPage中。

5.如权利要求1所述的一种基于队列的数据爬取方法，其特征在于，所述步骤3中，多线程从detailsPage获取的详情页的url，并通过url获取到对应基础页存入的json信息。