[发明专利]一种根据请求数据防爬虫系统和方法

说明书

本发明公开了一种根据请求数据防爬虫系统和方法，系统包括cookie加密生成模块、cookie存储模块和比对分析模块，所述cookie加密生成模块用于根据用户User‑Agent、当前时间戳、当前IP地址加密生成cookie；所述cookie存储模块用于存储cookie黑名单数据；所述比对分析模块用于比对分析当前访问cookie与cookie黑名单数据，以针对当前访问cookie执行反应操作。本发明可以有效防止恶意爬虫使用代理IP快速的大量获取数据，保护公司的原创数据利益，防止恶意爬虫大量获取到企业原创数据后发布在其他同类产品上；本发明可以在用户不登陆的情况下识别爬虫，不用客户登陆，保留客户浏览的意向，同时也可以实现防爬虫效果。

技术领域

本发明涉及数据处理技术领域，特别是一种根据请求数据防爬虫系统和方法。

背景技术

现在互联网产品中的原创数据容易被其他公司或个人利用恶意爬虫获取到，会对原产品的利益产生损害，本技术用来解决大部分爬虫利用代理IP频繁访问获取数据的问题。与本发明相关的现有最接近技术是根据用户IP访问频率来识别恶意爬虫，如果同一IP一段时间内访问次数过多，就将IP加入黑名单。缺点在于恶意爬虫可以使用代理，每次请求使用不同的IP来绕过IP速度监测。

发明内容

本发明上述问题，提供一种根据请求数据防爬虫系统。本发明的技术方案为：

一种根据请求数据防爬虫系统，包括cookie加密生成模块、cookie存储模块和比对分析模块，所述cookie加密生成模块用于根据用户User-Agent、当前时间戳、当前IP地址加密生成cookie；所述cookie存储模块用于存储cookie黑名单数据；所述比对分析模块用于比对分析当前访问cookie与cookie黑名单数据，以针对当前访问cookie执行反应操作。

本发明的另一方面，以上述系统进行根据请求数据防爬虫方法，包括如下步骤：

100、用户首次请求访问，所述cookie加密生成模块生成加密cookie并允许用户访问目标页面；

101、用户再次请求访问时，判断用户携带的cookie是否有效，cookie有效则执行步骤102，cookie无效则重新生成加密cookie再执行步骤102；

102、所述比对分析模块比对用户携带的cookie与所述cookie存储模块存储的cookie黑名单数据，当该用户携带的cookie属于所述cookie黑名单数据时拦截用户的访问请求，当该用户携带的cookie不属于所述cookie黑名单数据时执行步骤103；

103、所述比对分析模块判断该用户携带的cookie访问速度，超过速度限制则将该用户携带的cookie存储到所述cookie存储模块中更新cookie黑名单数据数据并拦截用户的访问请求，没有超过速度限制则执行步骤104；

104、所述比对分析模块判断当前请求用户的ip是否与加密cookie中的ip匹配，如果两者ip不匹配则将该加密cookie存储到所述cookie存储模块中更新cookie黑名单数据数据并拦截用户的访问请求，如果两者ip匹配则允许用户访问目标页面。

作为本发明进一步地说明，所述步骤100中的加密cookie由所述cookie加密生成模块根据用户User-Agent、当前时间戳和当前IP地址等关键访问参数加密生成。

作为本发明进一步地说明，所述步骤103和步骤104中速度限制判断和ip匹配判断的顺序可以互换。

作为本发明进一步地说明，包括一上级页面，所述cookie在用户访问所述上级页面时生成。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被计算机或处理器执行以实现上述根据请求数据防爬虫方法。

本发明的有益效果：