[发明专利]一种反爬虫处理方法、系统、存储介质及电子设备

说明书

本申请公开了一种反爬虫处理方法、系统、存储介质及电子设备，当接收到网络爬虫访问预先生成的各个隐蔽链接中的任意一个隐蔽链接产生的访问请求时，获取网络爬虫访问隐蔽链接时所使用的IP，各个隐蔽链接隐藏于HTML网页文件中，通过预设IP风险情报库对IP进行风险类型识别，得到风险识别结果，风险识别结果用于指示IP对应的风险等级，基于风险识别结果执行对应的操作。通过上述方案，在网页中随机插入隐蔽链接，通过隐蔽链接实时监测网络爬虫，确保对网络爬虫进行监测的时效性。并且结合IP风险情报库中的风险等级对网络爬虫进行评分，根据评分采取如拦截、验证码验证等处置手段，提高识别恶意的网络爬虫的准确性。

技术领域

本申请涉及网络爬虫技术领域，更具体地说，涉及一种反爬虫处理方法、系统、存储介质及电子设备。

背景技术

网络爬虫是按照一定的规则自动化抓取网页信息的程序。网络爬虫的过程分为网络请求、文本获取和数据提取。

网络爬虫的访问和收集网站数据行为会产生相当规模的网络流量，有分析表明其中三分之二的数据抓取行为是恶意的，并且这一比例还在不断上升。网络爬虫可以掠夺资源、削弱竞争对手。网络爬虫往往被滥用于从一个站点抓取内容，然后将该内容发布至另一个站点，而不显示数据源或链接，从而出现虚假网站，产生欺诈风险等行为。

开发者不得不使用各种技术手段来限制爬虫对服务器资源的访问。爬虫的爬取过程主要分为网络请求、文本提前和数据提取三个阶段，常见的反爬虫技术包括请求限制、拒绝响应、客户端身份验证、文本混淆和使用动态渲染技术等。

但是，针对国际互联协议(InternetProtocol，IP)以及通用唯一识别码(UniversallyUnique Identifier，UUID)的频次规则及模型，恶意的网络爬虫通常会采用频繁更换IP以及sleep机制，绕过反爬虫技术，使得对恶意的网络爬虫的识别率低。

发明内容

有鉴于此，本申请提供了一种反爬虫处理方法、系统、存储介质及电子设备，确保对网络爬虫进行监测的时效性和提高识别网络爬虫的准确性。

为了实现上述目的，其公开的技术方案如下：

本申请第一方面公开了一种反爬虫处理方法，所述方法包括：

当接收到网络爬虫访问预先生成的各个隐蔽链接中的任意一个隐蔽链接产生的访问请求时，获取所述网络爬虫访问隐蔽链接时所使用的IP；所述各个隐蔽链接隐藏于HTML网页文件中；

通过预设IP风险情报库对所述IP进行风险识别，得到风险识别结果；所述风险识别结果用于指示所述IP对应的风险等级；

基于所述风险识别结果执行对应的操作。

优选的，各个隐蔽链接的生成过程，包括：

通过随机链接生成服务，对HTML网页文件中的各个URL链接进行遍历，随机生成各个待处理链接；

对所述各个待处理链接进行隐蔽处理，得到各个隐蔽链接。

优选的，在所述对所述各个待处理链接进行隐蔽处理，得到各个隐蔽链接之后，还包括：

对包含所述各个隐蔽链接的HTML网页文件进行自动化测试。

优选的，所述通过预设IP风险情报库对所述IP进行风险识别，得到风险识别结果，包括：

从预设IP风险情报库中获取预设风险等级；所述预设风险等级包括高风险等级、中高风险等级、中风险等级、中低风险等级、低风险等级和无风险等级；

通过所述预设风险等级对所述IP对应的风险等级进行评分；

和/或，若所述IP对应的风险等级的评分为第一评分，则确定所述IP对应的风险等级为所述高风险等级；