[发明专利]一种基于脚本的网页采集服务方法和系统

摘要

本发明涉及一种基于脚本的网页采集服务方法和系统，包括：客户端，服务前端和服务执行单元，服务执行单元处理服务请求的过程包括：根据脚本队列中采集脚本的顺序，调度脚本队列中位于队首的采集脚本作为执行脚本；解释执行执行脚本，当执行脚本执行到调用函数时，判断调用函数是否为采集函数，若是，则将采集网页的任务发给网页采集模块，对执行脚本指定的网址进行网页采集处理，得到网址的网页信息作为采集函数的返回值，否则执行调用函数调用的功能，并将执行结果作为调用函数的返回值。由此本发明可通过调用服务的方式处理复杂的网页采集任务，适应性更强。

主权项

1.一种基于脚本的网页采集服务方法，包括：设置客户端，生成采集脚本作为服务请求；设置服务前端，接收并将该服务请求转发给服务执行单元，该服务执行单元处理该服务请求，并返回处理结果至该客户端，其特征在于，该服务执行单元处理该服务请求的过程包括：步骤1、将服务请求中该采集脚本加入待执行的脚本队列；步骤2、根据该脚本队列中采集脚本的顺序，调度该脚本队列中位于队首的采集脚本作为执行脚本；步骤3、解释执行该执行脚本，当该执行脚本执行到调用函数时，判断该调用函数是否为采集函数，若是，则执行步骤4，否则执行步骤5；步骤4、将采集网页的任务发给网页采集模块，对该执行脚本指定的网址进行网页采集处理，得到该网址的网页信息作为该采集函数的返回值，执行步骤6；步骤5、执行该调用函数调用的功能，并将执行结果作为该调用函数的返回值，执行步骤6；步骤6、返回该步骤3继续解释执行该执行脚本，直到该执行脚本执行完毕，得到该执行脚本的执行结果。