[发明专利]一种爬取数据的方法、系统及设备

摘要

本申请的目的是提供一种爬取数据的方法、系统及设备，本申请通过通过根据目标任务获取访问流量以及访问日志，对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符；从所有的统一资源定位符中筛选出目标访问链接；将筛选后的统一资源定位符加入与所述目标任务相关的配置项，整合成与主动抓取数据格式相同的源数据；将所述源数据加入主动抓取消息队列进行任务消费以确定目标访问链接。从而能够高效解析所有链接，保证了解析代码的普遍适用性，降低开发维护成本，满足了海量网页的快速爬取需求。