[发明专利]网络爬虫的检测方法及装置

权利要求书

1.一种网络爬虫的检测方法，应用在服务器上，其特征在于，所述方法包括：

在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；

如果确定未接收到需要执行所述标识文件的请求，将所述客户端对应的ip地址添加到第二黑名单中，并向所述客户端返回验证页面；

如果所述客户端在所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中；如果所述客户端在所述验证页面通过验证，将所述客户端的ip地址从所述第二黑名单中删除；

每隔第一预设周期对所述第二黑名单中的ip地址进行清理；其中，

所述对所述第二黑名单中的ip地址进行清理，包括：

将未通过对应的验证页面验证的ip地址从所述第二黑名单转移到所述第一黑名单中，将通过对应的验证页面验证的ip地址从第二黑名单中删除；

每隔第二预设周期统计所述第一黑名单中的每一个ip地址在所述第一黑名单中的存储时长；

从所述第一黑名单中删除存储时长超过预设时长的ip地址。

2.根据权利要求1所述的方法，其特征在于，所述预设的标识文件嵌入在所述访问请求需要执行的脚本文件中。

3.根据权利要求1所述的方法，其特征在于，所述统计所述第一黑名单中的每一个ip地址在所述第一黑名单中的存储时长，包括：

为所述第一黑名单中的每一个ip地址分配一个计时器；

在所述每一个ip地址被添加到所述第一黑名单时开始通过各自对应的计时器统计所述每一个ip地址的存储时长。

4.一种网络爬虫的检测装置，应用在服务器上，其特征在于，所述装置包括：

第一确定模块，被配置为在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；

添加模块，被配置为如果所述第一确定模块确定未接收到需要执行所述标识文件的请求，将所述客户端对应的ip地址添加到第二黑名单中；

发送模块，被配置为如果所述第一确定模块确定未接收到需要执行所述标识文件的请求，向所述客户端返回验证页面；

第二确定模块，被配置为如果所述客户端在所述发送模块发送的所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中；

第一删除模块，被配置为如果所述客户端在所述发送模块发送的所述验证页面通过验证，将所述客户端的ip地址从所述第二黑名单中删除；

统计模块，被配置为每隔第二预设周期统计所述第一黑名单由所述第二确定模块确定的的每一个ip地址在所述第一黑名单中的存储时长；

第二删除模块，被配置为从所述第一黑名单中删除所述统计模块统计的所述存储时长超过预设时长的ip地址；

清理模块，被配置为每隔第一预设周期对所述第二黑名单中的ip地址进行清理；其中，将未通过对应的验证页面验证的ip地址从所述第二黑名单转移到所述第一黑名单中，将通过对应的验证页面验证的ip地址从第二黑名单中删除。

5.根据权利要求4所述的装置，其特征在于，所述预设的标识文件嵌入在所述访问请求需要执行的脚本文件中。

6.根据权利要求4所述的装置，其特征在于，所述统计模块包括：

分配子模块，被配置为为所述第一黑名单中的每一个ip地址分配一个计时器；

统计子模块，被配置为在所述每一个ip地址被添加到所述第一黑名单时开始通过所述分配子模块为所述每一个ip地址分配的各自对应的计时器统计所述每一个ip地址的存储时长。

7.一种网络爬虫的检测装置，其特征在于，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；

如果确定未接收到需要执行所述标识文件的请求，将所述客户端对应的ip地址添加到第二黑名单中，并向所述客户端返回验证页面；

如果所述客户端在所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中；如果所述客户端在所述验证页面通过验证，将所述客户端的ip地址从所述第二黑名单中删除；

每隔第一预设周期对所述第二黑名单中的ip地址进行清理；其中，

所述对所述第二黑名单中的ip地址进行清理，包括：

将未通过对应的验证页面验证的ip地址从所述第二黑名单转移到所述第一黑名单中，将通过对应的验证页面验证的ip地址从第二黑名单中删除；

每隔第二预设周期统计所述第一黑名单中的每一个ip地址在所述第一黑名单中的存储时长；

从所述第一黑名单中删除存储时长超过预设时长的ip地址。