[发明专利]网络爬虫系统和基于网络爬虫系统的数据处理方法

摘要

本发明公开了一种网络爬虫系统和基于网络爬虫系统的数据处理方法。该网络爬虫系统包括多个功能模块，其中，每个功能模块之间能够相互进行通信；多个功能模块中的任一功能模块在接收到任务后，根据任务对应的流转信息，确定执行任务的功能模块以及任务的执行顺序，并将任务发送给相应的功能模块，以使功能模块按照执行顺序执行任务。解决了现有技术中网络爬虫的多个组件部署在同一台机器，或部署于多个机器但各个组件之间关系紧密，导致不易于拓展和维护的技术问题。

主权项

一种网络爬虫系统，其特征在于，包括：多个功能模块，其中，每个所述功能模块之间能够相互进行通信；所述多个功能模块中的任一功能模块在接收到任务后，根据所述任务对应的流转信息，确定执行所述任务的功能模块以及所述任务的执行顺序，并将所述任务发送给相应的功能模块，以使所述功能模块按照所述执行顺序执行所述任务。