[发明专利]一种自动化采集网页数据的系统及方法

说明书

本发明提供一种自动化采集网页数据的系统及方法，该系统包括嵌入式浏览器、API接口、脚本引擎模块和流程控制模块，结合脚本引擎模块和流程控制模块共同实现对指定网页的访问和指定数据采集。脚本引擎模块使得本发明的自动化采集网页数据的系统具有在当前页面的内存地址中执行自定义的JS函数的能力，在网页加载完成后能够获取当前页面的内存地址，并利用JS脚本模拟用户的各种点击操作，流程控制模块可以定制具体页面上的采集内容，适用于对具体网页的数据进行精确处理或者是针对具体网页进行特殊处理，特别是对于税务网站的数据能够进行精确采集；可以实现采集流程自定义、采集内容自定义。

技术领域

本发明涉及网站数据采集技术领域，尤其涉及一种自动化采集网页数据的系统及方法。

背景技术

目前互联网上抓取网页数据的方式主要是通过一种调度程序（爬虫）在互联网上下载网页，并录入数据库中，根据特定计算方式对数据库的信息进行采集、汇总、归类，其计算方式分为深度优先和广度优先方式。应用此类抓取网页数据的方式的如百度的蜘蛛爬虫，此类抓取网页数据的方式可以自动大批量的从网页中获取数据。但是，由于爬虫的数据爬取策略具有普适性，无法针对具体网页的数据进行精确处理、或者是针对具体网页进行特殊处理，特别是对于税务网站的数据无法进行精确采集。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种自动化采集网页数据的系统及方法。

为实现上述目的，本发明采用了如下技术方案：

一种自动化采集网页数据的系统，包括嵌入式浏览器、API接口、脚本引擎模块和流程控制模块，所述API接口与所述脚本引擎模块、所述流程控制模块分别嵌入所述嵌入式浏览器中。嵌入式浏览器采用IE内核或Chrome内核，或其他浏览器内核。

优选地，所述脚本引擎模块用于加载JS脚本；所述JS脚本包含操作网页的自定义JS函数，当网页数据加载到计算机内存中后，所述JS脚本加载到所述脚本引擎模块中，用来在当前页面的内存地址中执行所述自定义JS函数，支撑网页数据采集过程。

优选地，所述流程控制模块用于承载并执行批处理的命令，执行预配置的数据采集流程；

优选地，所述批处理的命令为查询按钮的点击、页面的跳转或者是网页数据的采集。

优选地，所述脚本引擎模块和所述流程控制模块结合起来还用于在登陆限制的网页页面模拟用户输入用户名和密码，模拟用户点击行为，通过登录验证。（具体如何实现）

根据本发明的另一面，还提供一种自动化采集网页数据的方法，包括以下步骤：

步骤S10：平台数据库下发指定数据采集请求；

步骤S20：登录待采集网站：嵌入式浏览器接收指定数据采集请求并访问指定的待采集网站，访问成功后接收到页面加载事件，同时获取页面加载完成后的内存地址；

步骤S30：加载JS脚本：脚本引擎模块为当前页面加载JS脚本，在当前页面的内存地址中执行自定义JS函数；

步骤S40：执行预配置的数据采集流程：流程控制模块根据预配置的流程执行批处理命令，按照批处理的执行流程逐步执行，到预配置的页面采集指定数据；

步骤S50：上传采集结果：将采集到的指定数据通过网络上传至所述平台数据库。

优选地，所述步骤S20中，当指定的待采集网站有登陆限制时，所述脚本引擎模块和所述流程控制模块模拟用户输入用户名和密码，模拟用户点击行为，通过登录验证。

与现有技术相比，本发明的有益效果为：