[发明专利]基于网络爬虫和数据转移技术的数据采集系统及方法

说明书

本发明公开了一种基于网络爬虫和数据转移技术的数据采集系统及方法，该系统集成了多种爬虫组件及数据转移组件，进行在线、离线数据采集。实现了针对不同的数据采集任务，对各个网络爬虫组件的灵活集成、自动选择、统一调度和管理等功能，使用户“一站式”完成对所需业务数据的采集。从而有效避免了开发人员因配置开发不同爬虫软件和其它采集系统所带来的繁重的重复性工作，提高了开发人员的开发和使用效率。

技术领域

本发明涉及一种计算机数据采集及处理领域，具体涉及一种基于网络爬虫和数据转移技术的数据采集系统及方法。

背景技术

随着大数据时代的到来，数据的获取又一次引起了人们的高度的重视，而网络爬虫技术作为一个重要和主要的网络数据获取手段，也同样得到越来越多的研究。

网络爬虫的基本工作流程如下：1.首先选取一部分精心挑选的种子URL；2.将这些URL放入待抓取URL队列；3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。4.分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：MySQL，Oracle，Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。

目前存在的网络爬虫软件少则几十种多则上百种，众多的软件各具特色：有些善于抓取Html格式的页面，有些善于抓取Json格式的页面，有些善于横向广度爬取，有些善于纵向深度爬取，等等。开发人员每次都会根据不同的业务需求，开发、配置不同的爬虫工具，当需求变更后页面结构发生变化，又不得不重新更换爬虫工具，开展繁重而又重复性的工作。目前，还没有一个将这些爬虫以及Sqoop等工具以组件的形式集成到一个系统中加以统一协调管理。

发明内容

为解决现有技术中不能灵活适应业务需求的变化、且管理不便、效率低等技术问题，本发明提出一种基于网络爬虫和数据转移技术的数据采集系统及方法，为用户提供一个集成了多种爬虫组件及数据转移组件的在线、离线数据采集系统，解决了网络爬虫等工具的集成、协调和统一调用等技术问题。

本发明通过下述技术方案实现：

基于网络爬虫和数据转移技术的数据采集系统，其特征在于，包括任务管理模块、数据采集模块和数据处理模块；数据采集模块集成了n个爬行组件和数据转移工具，n个爬行组件用于在线数据的采集，数据转移工具用于离线数据的处理和转移，n个爬行组件和数据转移工具通过统一的接口将采集到的数据传输到上层数据处理模块进行进一步处理；任务管理模块通过服务接口与前端系统通信，接收来自前端发送的采集任务，并对采集任务进行统一的管理和调度，其中，n>＝1。

优选的，所述数据处理模块包括日志收集系统、分布式发布订阅消息系统、分布式文件系统及数据仓库系统。

优选的，离线数据通过序列化存储接口直接存储在分布式文件系统中，在线数据通过序列化存储接口发送到日志收集系统之中，日志收集系统中的数据经过分布式发布订阅消息系统进行缓存适配，经过适配后的数据，进行初步数据仓库系统清洗，为后续终端系统提供结构化的数据支撑。

优选的，所述任务管理模块包括本地目录监控单元、数据库、任务队列单元和任务监控单元。