[发明专利]采集互联网金融网页的项目列表的方法及系统

权利要求书

1.一种采集互联网金融网页的项目列表的方法，其特征在于，所述方法应用于采集互联网金融网页的项目列表的系统，所述系统包括生成端和执行端，所述方法包括：

所述脚本生成端展示互联网金融网页对应的可视化配置界面；

所述脚本生成端根据用户在所述可视化配置界面上的配置操作生成项目列表采集脚本，并将所述项目列表采集脚本存储至数据库；

当时间到达所述项目列表采集脚本的执行时间点时，所述脚本生成端从所述数据库中取出所述项目列表采集脚本，并将所述项目列表采集脚本放入任务队列；

所述脚本生成端将所述任务队列中的项目列表采集脚本分发至所述执行端；

所述执行端运行所述项目列表采集脚本，得到项目列表采集信息，并将所述项目列表采集信息存储至所述执行端的本地文件系统。

2.如权利要求1所述的方法，其特征在于，所述脚本生成端展示互联网金融网页对应的可视化配置界面，包括：

所述脚本生成端获取互联网金融网页的经过修改的网页源码；

所述脚本生成端对所述经过修改的网页源码进行渲染，得到并展示可视化配置界面。

3.如权利要求2所述的方法，其特征在于，所述脚本生成端获取互联网金融网页的经过修改的网页源码，包括：

所述脚本生成端发起互联网金融网页开启请求；

服务端接收所述互联网金融网页开启请求，并通过所述服务端本地无头浏览器将所述互联网金融网页开启请求对应的互联网金融网页的统一资源定位符发送至代理拦截器；

所述服务器接收所述代理拦截器基于所述互联网金融网页的统一资源定位符反馈的网页源码，并通过修改脚本对所述网页源码进行修改，得到互联网金融网页的经过修改的网页源码；

所述服务器将所述互联网金融网页的经过修改的网页源码反馈给所述脚本生成端，以供所述脚本生成端获取所述互联网金融网页的经过修改的网页源码。

4.如权利要求1所述的方法，其特征在于，所述脚本生成端将所述任务队列中的项目列表采集脚本分发至所述执行端，包括：

所述脚本生成端根据所述执行端可执行的脚本数量M，将N个项目列表采集脚本分发至所述执行端，其中，所述N小于或等于M。

5.如权利要求1所述的方法，其特征在于，所述执行端运行所述项目列表采集脚本，包括：

所述执行端启动执行端本地无头浏览器引擎，并在所述执行端本地无头浏览器引擎上运行所述项目列表采集脚本。

6.一种采集互联网金融网页的项目列表的系统，其特征在于，所述系统包括脚本生成端和执行端：

所述脚本生成端，用于展示互联网金融网页对应的可视化配置界面；根据用户在所述可视化配置界面上的配置操作生成项目列表采集脚本，并将所述项目列表采集脚本存储至数据库；当时间到达所述项目列表采集脚本的执行时间点时，从所述数据库中取出所述项目列表采集脚本，并将所述项目列表采集脚本放入任务队列；将所述任务队列中的项目列表采集脚本分发至所述执行端；

所述执行端，用于运行所述项目列表采集脚本，得到项目列表采集信息，并将所述项目列表采集信息存储至所述执行端的本地文件系统。

7.如权利要求6所述的系统，其特征在于，所述脚本生成端，用于：

获取互联网金融网页的经过修改的网页源码；

对所述经过修改的网页源码进行渲染，得到并展示可视化配置界面。

8.如权利要求7所述的系统，其特征在于，所述脚本生成端，用于：

所述脚本生成端发起互联网金融网页开启请求；

服务端接收所述互联网金融网页开启请求，并通过所述服务端本地无头浏览器将所述互联网金融网页开启请求对应的互联网金融网页的统一资源定位符发送至代理拦截器；

所述服务器接收所述代理拦截器基于所述互联网金融网页的统一资源定位符反馈的网页源码，并通过修改脚本对所述网页源码进行修改，得到互联网金融网页的经过修改的网页源码；

所述服务器将所述互联网金融网页的经过修改的网页源码反馈给所述脚本生成端，以供所述脚本生成端获取所述互联网金融网页的经过修改的网页源码。