[发明专利]一种互联网数据采集抓取系统

说明书

本发明提供了一种互联网数据采集系统，包括：网页分析器，用于对网页进行分析，并从DNS服务器获取网页的IP地址，生成采集任务；任务模块，用于将所述采集任务存储到任务队列；请求模块，发送页面的采集请求；认证模块实现登录认证；以及下载模块，用于从所述任务队列中获取所述采集任务，下载网页数据。本发明实施例的数据采集方法，是在网页分析中执行DNS查询，避免DNS查询在下载过程中造成管道阻塞，提高采集效率。

技术领域

本发明涉及信息收集领域，具体涉及一种利用利用计算机技术自动收集相关信息的互联网数据采集抓取系统。

背景技术

在当前数据分析的需要，越来越多的网站数据需要被采集抓取。

发明内容

本发明的目的是提出了一种互联网数据采集抓取系统。

本发明的目的可通过下列技术方案来实现：一种互联网数据采集抓取系统包括：网页分析模块001，用于对网页进行分析，并从DNS服务器获取网页的IP地址，生成采集任务；任务模块002，用于将所述采集任务存储到任务队列；请求模块003，发送页面的采集请求；认证模块004，实现登录认证；以及下载模,005，用于从所述任务队列中获取所述采集任务，下载网页数据。

附图说明：

图1：本发明的结构示意图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

如图1所示：网页分析模块001，用于对网页进行分析，并从DNS服务器获取网页的IP地址，生成采集任务；任务模块002，用于将所述采集任务存储到任务队列；请求模块003，发送页面的采集请求；认证模块004，实现登录认证；以及下载模块,005，用于从所述任务队列中获取所述采集任务，下载网页数据。

其中认证模块004包括自动注册和识别验证码。