[发明专利]一种自动化采集网页数据的系统及方法

权利要求书

1.一种自动化采集网页数据的系统，其特征在于：包括嵌入式浏览器、API接口、脚本引擎模块和流程控制模块，所述API接口与所述脚本引擎模块、所述流程控制模块嵌入所述嵌入式浏览器中；所述脚本引擎模块用于加载JS脚本；所述JS脚本包含操作网页的自定义JS函数，当网页数据加载到计算机内存中后，所述JS脚本加载到所述脚本引擎模块中，用来在当前页面的内存地址中执行所述自定义JS函数，支撑网页数据采集过程；所述流程控制模块用于承载并执行批处理的命令，执行预配置的数据采集流程；所述批处理的命令为查询按钮的点击、页面的跳转或者是网页数据的采集；所述脚本引擎模块和所述流程控制模块结合起来还用于在登陆限制的网页页面模拟用户输入用户名和密码，模拟用户点击行为，通过登录验证。

2.一种自动化采集网页数据的方法，其特征在于：包括以下步骤：

步骤S10：平台数据库下发指定数据采集请求；

步骤S20：登录待采集网站：嵌入式浏览器接收指定数据采集请求并访问指定的待采集网站，访问成功后接收到页面加载事件，同时获取页面加载完成后的内存地址；当指定的待采集网站有登陆限制时，脚本引擎模块和流程控制模块模拟用户输入用户名和密码，模拟用户点击行为，通过登录验证；

步骤S30：加载JS脚本：脚本引擎模块为当前页面加载JS脚本，在当前页面的内存地址中执行自定义JS函数；

步骤S40：执行预配置的数据采集流程：流程控制模块根据预配置的流程执行批处理命令，按照批处理的执行流程逐步执行，到预配置的页面采集指定数据；

步骤S50：上传采集结果：将采集到的指定数据通过网络上传至所述平台数据库。