[发明专利]反爬虫方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种反爬虫方法，其特征在于，所述方法包括：

获取用户的前端浏览记录，提取所述前端浏览记录中的浏览地址与浏览时间，包括获取预构建的地址字符和时间字符，将所述地址字符编译为地址规则表达式，并利用所述地址规则表达式提取所述前端浏览记录中的浏览地址，将所述时间字符编译为时间规则表达式，并利用所述时间规则表达式提取所述前端浏览记录中的浏览时间；

根据所述浏览地址与浏览时间计算用户行为指标，包括根据所述浏览地址确定地址数量，根据所述浏览时间确定总浏览时长，根据所述浏览时间和所述地址数量计算预设单位时长内访问次数，根据所述地址数量与所述总浏览时长计算每个浏览地址的平均浏览时长，根据所述地址数量、总浏览时长、平均浏览时长和预设单位时长访问次数，利用预设的指标函数计算得到用户行为指标，所述反爬虫验证参数，接收从所述用户的IP地址发出的目标网页请求指令，解析所述目标网页请求指令，得到目标网页请求地址，利用所述目标网页请求地址执行索引操作，得到与所述目标网页请求地址对应的服务器，在预设时间段内，计算所述服务器的最大响应规模数据，根据所述最大响应规模数据，计算所述服务器在所述预设时间段内的工作量范围区间均值，得到所述反爬虫验证参数；

若所述用户行为指标大于预设阈值，则对所述用户进行访问限制；

若所述用户行为指标小于或等于所述预设阈值，则获取预设时间段内所述用户访问的目标网页的反爬虫验证参数；根据所述反爬虫验证参数，构建所述用户对所述目标网页的访问代价函数，并迭代所述访问代价函数，得到访问代价值，所述访问代价是指用户通过用户IP地址对数据进行访问时，用户IP地址对应的服务器的负载消耗；

当所述访问代价值小于所述反爬虫验证参数时，对所述用户进行访问限制。

2.如权利要求1所述的反爬虫方法，其特征在于，所述获取用户的前端浏览记录，包括：

获取预设的前端页面的代码函数；

将预先构建的数据采集函数编译为数据采集埋点；

将所述数据采集埋点添加至所述代码函数中；

当用户浏览所述前端页面时，利用含有所述代码函数的数据采集接口采集用户的前端浏览记录。

3.如权利要求1所述的反爬虫方法，其特征在于，所述对所述用户进行访问限制，包括：

获取所述用户的后端响应记录；

对所述后端响应记录进行IP溯源，得到用户IP地址；

对所述用户IP地址进行黑名单限制与验证码限制。

4.如权利要求3所述的反爬虫方法，其特征在于，所述对所述后端响应记录进行IP溯源，得到用户IP地址，包括：

提取所述后端响应记录中的访问请求；

遍历并确定所述访问请求中的请求头数据类；

对所述请求头数据类进行反射操作，得到请求头方法；

根据所述请求头方法构建请求头提取语句；

执行所述请求头提取语句提取所述访问请求中的请求消息头；

对所述消息头进行解析，得到用户IP地址。

5.如权利要求3所述的反爬虫方法，其特征在于，所述黑名单限制包括：

将所述用户IP地址加入预设的黑名单；

当检测到访问请求时，将所述访问请求对应的IP地址与所述黑名单中的用户IP地址进行比对；

若所述访问请求对应的IP地址与所述黑名单中的用户IP地址匹配，则拒绝该访问请求；

若所述访问请求对应的IP地址与所述黑名单中的用户IP地址不匹配，则响应所述访问请求。