[发明专利]网络爬虫的检测方法及装置

说明书

本公开是关于一种网络爬虫的检测方法及装置，用以节约服务器的运维成本。所述方法包括：在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；如果确定未接收到需要执行所述标识文件的请求，向所述客户端返回验证页面；如果所述客户端在所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中。本公开技术方案可以通过被监控的爬虫请求准实时地发现爬虫行为，避免通过手动方式将被监控的网络爬虫添加到第一黑名单中，降低了服务器的运维成本，并且还能减少恶意访问对服务器资源的占用，进而可以给用户带来更好的服务。

技术领域

本公开涉及互联网技术领域，尤其涉及一种网络爬虫的检测方法及装置。

背景技术

现在对于网站的恶意访问越来越严重，在极端的环境下，恶意爬虫已经对web站点的正常访问构成了威胁，甚至能够达到恶意攻击的程度。相关技术通过设置黑名单方法来限制恶意IP地址对网页进行访问，在该种方式中，通常服务器的运维人员收到监控报警后或者是手动分析日志后，发现一些恶意IP地址的访问量特别高，通过手动方式在将这些恶意的IP地址添加到黑名单中，致使服务器的运维成本较高。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种网络爬虫的检测方法及装置，用以节约服务器的运维成本。

根据本公开实施例的第一方面，提供一种网络爬虫的检测方法，应用在服务器上，包括：

在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；

如果确定未接收到需要执行所述标识文件的请求，向所述客户端返回验证页面；

如果所述客户端在所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中。

在一实施例中，所述预设的标识文件嵌入在所述网页请求需要执行的脚本文件中。

在一实施例中，所述方法还可包括：

如果确定未接收到需要执行所述标识文件的请求，将所述客户端对应的ip地址添加到第二黑名单中；

每隔第一预设周期对所述第二黑名单中的ip地址进行清理。

在一实施例中，所述方法还可包括：

如果所述客户端在所述验证页面通过验证，将所述客户端的ip地址从所述第二黑名单中删除。

在一实施例中，所述方法还可包括：

每隔第二预设周期统计所述第一黑名单中的每一个ip地址在所述第一黑名单中的存储时长；

从所述第一黑名单中删除存储时长超过预设时长的ip地址。

在一实施例中，所述统计所述第一黑名单中的每一个ip地址在所述第一黑名单中的存储时长，可包括：

为所述第一黑名单中的每一个ip地址分配一个计时器；

在所述每一个ip地址被添加到所述第一黑名单时开始通过各自对应的计时器统计所述每一个ip地址的存储时长。

根据本公开实施例的第二方面，提供一种网络爬虫的检测装置，应用在服务器上，包括：

第一确定模块，被配置为在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；

发送模块，被配置为如果所述第一确定模块确定未接收到需要执行所述标识文件的请求，向所述客户端返回验证页面；

第二确定模块，被配置为如果所述客户端在所述发送模块发送的所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中。