[发明专利]网页防爬虫方法、装置、计算机设备及存储介质

说明书

本发明涉及网页防爬虫方法、装置、计算机设备及存储介质，该方法包括获取来自用户终端的访问请求；判断访问请求是否携带访问令牌；若访问请求不携带访问令牌，则将访问请求对应的替身页面反馈至用户终端；获取来自用户终端发起的验证请求；判断验证请求是否可验证成功；若验证请求可验证成功，则发送一个加密后的访问令牌至用户终端；返回获取来自用户终端的访问请求。本发明实现自动识别网页爬虫，并拦截来自网页爬虫的请求，且不影响用户上网体验，无需借助IP，优化防爬虫效果。

技术领域

本发明涉及计算机，更具体地说是指网页防爬虫方法、装置、计算机设备及存储介质。

背景技术

网页爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。有些网站通过爬虫去采集其它的网站页面信息作为己用，大量的爬取行为会对网页服务器有比较性能有影响，因此需要进行网页防爬虫操作。

目前最有效且广为使用的防爬虫方法通常是采用各种交互式的验证码、限制IP(网络之间互连的协议，Internet Protocol)请求频率等。交互式的验证码，需要用户频繁的输入验证码，非常影响用户体验。而采用限制IP访问频率的方式，在NAT(网络地址转换，Network Address Translation)网络环境下可能出现误报，而且通过使用代理IP，可以绕过IP频繁访问限制，防爬虫效果不是很好。

因此，有必要设计一种新的方法，实现自动识别网页爬虫，并拦截来自网页爬虫的请求，且不影响用户上网体验，优化防爬虫效果。

发明内容

本发明的目的在于克服现有技术的缺陷，提供网页防爬虫方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：网页防爬虫方法，包括：

获取来自用户终端的访问请求；

判断所述访问请求是否携带访问令牌；

若所述访问请求不携带访问令牌，则将所述访问请求对应的替身页面反馈至用户终端；

获取来自用户终端发起的验证请求；

判断所述验证请求是否可验证成功；

若验证请求可验证成功，则发送一个加密后的访问令牌至用户终端；

返回所述获取来自用户终端的访问请求。

其进一步技术方案为：所述判断所述访问请求是否携带访问令牌之后，还包括：

若所述访问请求携带访问令牌，则判断所述访问令牌是否合格；

若所述访问令牌合格，则将所述访问请求发送至后台服务器，以使得后台服务器反馈访问请求对应的数据；

将后台服务器反馈的数据发送至用户终端。

其进一步技术方案为：所述将所述访问请求对应的替身页面反馈至用户终端，包括：

对所述访问请求对应的页面进行混淆；

对混淆后的页面进行加密，以形成替身页面；

反馈所述替身页面至用户终端。

其进一步技术方案为：所述验证请求包括用户终端执行替身页面后所得到的结果。

其进一步技术方案为：所述判断所述若所述访问请求不携带访问令牌，则将所述访问请求对应的替身页面反馈至用户终端之后，还包括：

若否，则返回所述将所述访问请求对应的替身页面反馈至用户终端。

本发明还提供了网页防爬虫装置，包括：