[发明专利]一种海外服务器非结构数据采集系统及方法

权利要求书

1.一种非结构性网站数据采集方法，其特征在于，包括以下步骤：

S1：通过引擎打开一个网站，找到处理该网站的Spider并向该Spider请求第一个需要爬取的URL;

S2：引擎从Spider中获取到第一个要爬取的URL并在调度器以Request调度;

S3：引擎向调度器请求下一个要爬取的URL;

S4：调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件转发给下载器;

S5：一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件发送给引擎;

S6：引擎从下载器中接收到Response并通过Spider中间件发送给Spider处理;

S7：Spider处理Response并返回爬取到的Item及新的Request给引擎;

S8：引擎将爬取到的Item给Item管道，将Request给调度器;

S9：重复直到调度器中没有更多地request，引擎关闭该网站。

2.根据权利要求1所述的一种非结构性网站数据采集方法，其特征在于，所述步骤S1包括以下子步骤：

S101：以初始的URL初始化Request，并设置回调函数；

S102：当该request下载完毕并返回时，将生成response，并作为参数传给该回调函数；

S103：调用 start_requests()获取spider中初始的request；

S104：start_requests()读取start_urls中的URL，并以parse为回调函数生成Request。

3.根据权利要求1所述的一种非结构性网站数据采集方法，其特征在于，步骤S2中所述spider类包括数据采集的动作以及提取结构化数据的方法。

4.根据权利要求1所述的一种非结构性网站数据采集方法，其特征在于，步骤S8中所述调度器模块采用的数据结构为队列。

5.根据权利要求1所述的一种非结构性网站数据采集方法，其特征在于，步骤S8中所述item类的对象为一种容器，用于保存爬取到的数据。

6.一种非结构性网站数据采集系统，其特征在于，包括Scrapy引擎、下载器模块、爬虫模块以及Item管道模块；

Scrapy引擎模块负责数据信号在不同模块间的传递；

调度器模块用于存放引擎发送过来的请求；

下载器模块用于下载引擎发送的请求，并将结果返回引擎；

Item管道模块用于处理引擎传输的数据。

7.根据权利要求6所述的一种非结构性网站数据采集系统，其特征在于，还包括中间件模块，所述中间件模块用于自定义下载扩展和请求。

8.根据权利要求1所述的一种非结构性网站数据采集系统，其特征在于，所述Scrapy引擎模块用于控制框架中的数据流：通过下载起中间件与爬虫中间件与爬虫模块和下载器模块进行数据传输，将爬取到的信息存出来Item管道模块。

9.根据权利要求1所述的一种非结构性网站数据采集系统，其特征在于，所述中间件模块包括下载器中间件和爬虫中间件；所述下载器中间件为结余采集框架的request/response处理的钩子框架，用于全局修改采集request和response的系统；所述爬虫中间件为介入到采集框架的爬虫处理机制的钩子框架，用于处理发送给spiders的response以及spider产生的item和request。

10.根据权利要求1所述的一种非结构性网站数据采集系统，其特征在于，所述爬虫模块为用户编写用于分析response并提取item或额外跟进的URL的类。

11.根据权利要求1所述的一种非结构性网站数据采集系统，其特征在于，所述Item管道模块用于处理被spider提取出来的item。

12.根据权利要求1所述的一种非结构性网站数据采集系统，其特征在于，整个数据采集框架基于事件驱动网络框架Twisted编写。