[发明专利]一种海外服务器非结构数据采集系统及方法

说明书

本发明公开了一种非结构性网站数据采集系统及方法，该方法包括：创建一个项目、定义提取的item、编写需要采集的网站的spider并提取item以及编写Item Pipeline来存储提取到的item；该系统包括：Scrapy引擎模块、调度器模块、下载器模块、爬虫模块、Item管道模块以及中间件模块。本发明通过定制的采集数据模板利用Scrapy引擎模块对调度器模块、下载器模块、爬虫模块、Item管道模块以及中间件模块的驱动和协调配合，能够支持多种网络协议，从互联网上定向采集非结构性网站数据。

技术领域

本发明涉及数据处理领域，尤其涉及一种非结构性网站数据采集系统及方法。

背景技术

随着互联网以及大数据产业的发展，及时有效的数据采集显得尤为重要。但是面对规模越来越大的海量数据，往往存在大量小的非结构化数据，任务调度需要占用大量资源，影响采集效率。

为了解决上述问题，需要一种能够稳定地在互联网上定向进行数据采集的系统。

发明内容

本发明的目的在于，针对上述问题，提出一种非结构性网站数据采集系统及方法。

一种非结构性网站数据采集方法，包括：

通过引擎打开一个网站，找到处理该网站的Spider并向该spider请求第一个要爬取的URL；从Spider中获取到第一个要爬取的URL并在调度器以Request调度；引擎向调度器请求下一个要爬取的URL；调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件转发给下载器；一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件发送给引擎；引擎从下载器中接收到Response并通过Spider中间件发送给Spider处理；Spider处理Response并返回爬取到的Item及新的Request给引擎；引擎将爬取到的Item给Item管道，将Request给调度器；重复直到调度器中没有更多地request，引擎关闭该网站。

进一步的，所述spider类包括数据采集的动作以及提取结构化数据的方法。

进一步的，所述调度器模块采用的数据结构为队列。

进一步的，所述item类的对象为一种容器，用于保存爬取到的数据。

一种非结构性网站数据采集系统，包括Scrapy引擎、下载器模块、爬虫模块以及Item管道模块；Scrapy引擎模块负责数据信号在不同模块间的传递；调度器模块用于存放引擎发送过来的请求；下载器模块用于下载引擎发送的请求，并将结果返回引擎；Item管道模块用于处理引擎传输的数据。还包括中间件模块，所述中间件模块用于自定义下载扩展和请求。

进一步的，所述Scrapy引擎模块用于控制框架中的数据流：通过下载起中间件与爬虫中间件与爬虫模块和下载器模块进行数据传输，将爬取到的信息存出来Item管道模块。

进一步的，所述中间件模块包括下载器中间件和爬虫中间件；所述下载器中间件为结余采集框架的request/response处理的钩子框架，用于全局修改采集request和response的系统；所述爬虫中间件为介入到采集框架的爬虫处理机制的钩子框架，用于处理发送给spiders的response以及spider产生的item和request。

进一步的，所述爬虫模块为用户编写用于分析response并提取item或额外跟进的URL的类。

进一步的，所述Item管道模块用于处理被spider提取出来的item。

进一步的，整个数据采集框架基于事件驱动网络框架Twisted编写。

本发明从非结构性的数据源中通过定制的采集数据模板采集数据，支持多种网络协议，能够从互联网上定向采集数据。

附图说明