[发明专利]一种网络爬虫的处理方法、系统及设备

摘要

本申请的目的是提供一种网络爬虫的处理方法、系统及设备，本申请通过接收访问流量，将所述访问流量牵引到设有防火墙边缘的防护节点，对所述访问流量进行识别，确定出已知爬虫以及已知爬虫所属的爬虫类别；对未确定出所属的爬虫类别的访问流量进行行为分析识别，确定出未知爬虫的威胁值，根据所述威胁值确定所述未知爬虫所属的爬虫类别；根据所述已知爬虫所属的爬虫类别以及所述未知爬虫所属的类别进行访问流量可视化展示，并调整所述当前业务的访问流量。从而高效、精确地识别了恶意爬虫和正常流量并分别加以处置，同时可视化直观展示了爬虫数据，便于网站管理人员对爬虫类别相关数据进行针对性分析。