[发明专利]一种基于访问行为的反爬虫方法

说明书

技术领域

本发明涉及信息安全领域，特别涉及一种基于访问行为的反爬虫方法。

背景技术

在互联网发展的今天，每个网站都有一些公开数据供正常用户浏览，但是不希望被恶意爬虫获取，例如，电商数据中商品的价格，供正常用户浏览，而不希望被竞争对手轻易获取。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

在反爬虫领域常使用如下做法：方法一，通过对请求者的ip地址进行统计，当访问频率或者访问次数达到一定阈值的时候，封禁此ip的请求。方法二，通过反向扫描，查看客户端的端口开放情况，以决定是否封禁客户端ip。

以上方式都存在着较大的缺陷。由于现行的ipv4地址数量有限，很多用户都使用同一个外网ip，这样很容易达到上述方式一中的频率或阈值，造成误伤。方式二通过反向扫描以确定客户端是否正常，但是实际中存在着打开非常用端口的客户端，因此方式二也容易造成误伤。

发明内容

本发明要解决的技术问题是：提供一种基于访问行为的反爬虫方法，解决现有反爬虫方法难以区分恶意请求的问题。

为解决上述问题，本发明采用的技术方案是：一种基于访问行为的反爬虫方法，包括以下步骤：

A.网站设计阶段，使用MVC的模式，将静态资源、动态资源分离部署；

B.通过分析的方式，得到一个正常请求在特定时间内静态资源、动态资源的数目比例T；

C.当网站收到客户端的访问请求时，分析该访问请求在所述特定时间内要访问的资源数目是否符合数目比例T，如果不符合，则认为该访问请求为恶意请求，封禁此客户端的请求一段时间；如果符合，则认为该访问请求为正常请求，按正常请求处理。

进一步的，步骤A中所述的分析方式包括：人工分析和/或者日志分析和/或者流量分析。

进一步的，所述特定时间通过流量或日志的均值得到。

进一步的，步骤C封禁客户端的方式包括：首先对发送恶意请求的客户端添加标识，并记录其ip地址；然后拒绝被记录了ip且添加了标识的客户端的访问请求。

本发明的有益效果是：本发明在收到访问请求的时候，通过将其与正常访问模型相比较的方式，以较小的代价，降低了爬虫的重用性，提高了网站数据的安全性。

附图说明

图1为实施例的流程图。

具体实施方式

在网站开发中，一般都遵循MVC的开发模式，前端负责数据的展示。展示的页面可以分为静态资源和动态资源。在部署的时候，静态资源和动态资源分离部署。一个正常的完整请求模型，既包含对静态资源的访问，又包含对动态资源的访问。动态资源才是爬虫感兴趣的内容，以下实施例正是基于此，将不符合的正常请求模型的断定为恶意请求(爬虫)。

因此，实施例提供一种基于访问行为的反爬虫方法，如图1所示，包括步骤：

A.网站设计阶段，使用MVC的模式，将静态资源、动态资源分离部署；

B.通过人工分析和/或者日志分析和/或者流量分析的方式，得到一个正常请求在特定时间内静态资源、动态资源的数目比例T；其中，这里的特定时间可以通过流量或日志的均值得到；

C.当网站收到客户端的访问请求时，分析该访问请求在所述特定时间内要访问的资源数目是否符合数目比例T，如果不符合数目比例T，则认为该访问请求为恶意请求，封禁此客户端的请求一段时间；如果符合数目比例T，则认为该访问请求为正常请求，按正常请求处理。

在封禁客户端的时候，为避免误伤使用同一个外网ip其他用户，实施例可以采用“ip+客户端标识”的方式进行封禁，即：首先对发送恶意请求的客户端添加标识，并记录其ip地址；然后拒绝被记录了ip且添加了标识的客户端的访问请求。

以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。