[发明专利]网络爬虫的检测方法及装置有效
| 申请号： | 201510087889.6 | 申请日： | 2015-02-25 |
| 公开（公告）号： | CN104601601B | 公开（公告）日： | 2018-09-04 |
| 发明（设计）人： | 沈建荣;谭国斌;马哲 | 申请（专利权）人： | 小米科技有限责任公司 |
| 主分类号： | H04L29/06 | 分类号： | H04L29/06 |
| 代理公司： | 北京博思佳知识产权代理有限公司 11415 | 代理人： | 林祥 |
| 地址： | 100085 北京市海淀区清*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开是关于一种网络爬虫的检测方法及装置，用以节约服务器的运维成本。所述方法包括：在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；如果确定未接收到需要执行所述标识文件的请求，向所述客户端返回验证页面；如果所述客户端在所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中。本公开技术方案可以通过被监控的爬虫请求准实时地发现爬虫行为，避免通过手动方式将被监控的网络爬虫添加到第一黑名单中，降低了服务器的运维成本，并且还能减少恶意访问对服务器资源的占用，进而可以给用户带来更好的服务。 | ||
| 搜索关键词： | 网络 爬虫 检测 方法 装置 | ||
【主权项】：
1.一种网络爬虫的检测方法，应用在服务器上，其特征在于，所述方法包括：在接收到来自客户端的访问请求时，确定是否接收到需要执行预设的标识文件的请求；如果确定未接收到需要执行所述标识文件的请求，将所述客户端对应的ip地址添加到第二黑名单中，并向所述客户端返回验证页面；如果所述客户端在所述验证页面未通过验证，确定所述访问请求被监控的爬虫请求，将所述客户端的ip地址添加到第一黑名单中；如果所述客户端在所述验证页面通过验证，将所述客户端的ip地址从所述第二黑名单中删除；每隔第一预设周期对所述第二黑名单中的ip地址进行清理；其中，所述对所述第二黑名单中的ip地址进行清理，包括：将未通过对应的验证页面验证的ip地址从所述第二黑名单转移到所述第一黑名单中，将通过对应的验证页面验证的ip地址从第二黑名单中删除；每隔第二预设周期统计所述第一黑名单中的每一个ip地址在所述第一黑名单中的存储时长；从所述第一黑名单中删除存储时长超过预设时长的ip地址。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于小米科技有限责任公司，未经小米科技有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510087889.6/，转载请声明来源钻瓜专利网。
