[发明专利]反爬虫方法、装置、电子设备及计算机可读存储介质

说明书

本发明涉及数据安全技术，揭露了一种反爬虫方法，包括：获取用户的前端浏览记录，提取前端浏览记录中的浏览地址与浏览时间；根据浏览地址与浏览时间计算用户行为指标；若用户行为指标大于预设阈值，对用户进行访问限制；若用户行为指标小于或等于预设阈值，获取预设时间段内用户访问的目标网页的反爬虫验证参数；根据反爬虫验证参数，构建用户对目标网页的访问代价函数；迭代访问代价函数，得到访问代价值，当所述访问代价值小于所述反爬虫验证参数时，对所述用户进行访问限制。此外，本发明还涉及区块链技术，前端浏览记录可存储于区块链的节点。本发明还提出一种反爬虫装置、设备及存储介质。本发明可以提高反爬虫的精确度。

技术领域

本发明涉及数据安全技术领域，尤其涉及一种反爬虫方法、装置、电子设备及计算机可读存储介质。

背景技术

在当今的大数据时代，数据已经成为企业的核心资产之一。随着各类企业对网络数据采集的需求不断增长，恶意的爬虫攻击也在快速增长。所述爬虫攻击是基于爬虫技术非法爬取未授权平台数据，大量的爬虫攻击不仅会影响正常用户的访问，还会给企业带来极大的威胁。

传统的反爬虫服务大部分都是基于技术层面进行硬实施，但对于爬虫使用者的定位不精准，效果不佳，甚至会对正常用户的访问有误伤，因此，传统的反爬虫面临越来越明显的挑战。

发明内容

本发明提供一种反爬虫方法、装置及计算机可读存储介质，其主要目的在于解决进行反爬虫的精确度较低的问题。

为实现上述目的，本发明提供的一种反爬虫方法，包括：

获取用户的前端浏览记录，提取所述前端浏览记录中的浏览地址与浏览时间；

根据所述浏览地址与浏览时间计算用户行为指标；

若所述用户行为指标大于预设阈值，则对所述用户进行访问限制；

若所述用户行为指标小于或等于所述预设阈值，则获取预设时间段内所述用户访问的目标网页的反爬虫验证参数；根据所述反爬虫验证参数，构建所述用户对所述目标网页的访问代价函数，并迭代所述访问代价函数，得到访问代价值；

当所述访问代价值小于所述反爬虫验证参数时，对所述用户进行访问限制。

可选地，所述获取用户的前端浏览记录，包括：

获取预设的前端页面的代码函数；

将预先构建的数据采集函数编译为数据采集埋点；

将所述数据采集埋点添加至所述代码函数中；

当用户浏览所述前端页面时，利用含有所述代码函数的数据采集接口采集用户的前端浏览记录。

可选地，所述根据所述浏览地址与浏览时间计算用户行为指标，包括：

根据所述浏览地址确定地址数量；

根据所述浏览时间确定总浏览时长；

根据所述浏览时间和所述地址数量计算预设单位时长内访问次数；

根据所述地址数量与所述总浏览时长计算每个浏览地址的平均浏览时长；

根据所述地址数量、总浏览时长、平均浏览时长和预设单位时长访问次数，利用预设的指标函数计算得到用户行为指标。

可选地，所述对所述用户进行访问限制，包括：

获取所述用户的后端响应记录；

对所述后端响应记录进行IP溯源，得到用户IP地址；

对所述用户IP地址进行黑名单限制与验证码限制。

可选地，所述对所述后端响应记录进行IP溯源，得到用户IP地址，包括：