[发明专利]页面防抓取方法及装置

摘要

本发明实施例提供一种页面防抓取方法及装置，应用于业务集群服务器，所述方法包括：对于所述业务集群服务器所支持的各项业务，均执行如下步骤：接收客户端发送的页面获取请求，所述页面获取请求中包括所述页面获取请求对应的访问信息；根据所述访问信息和预设检测策略，确定所述页面获取请求的安全检测结果；根据所述安全检测结果，指示对应的服务器处理所述页面获取请求。提高了对校验逻辑进行维护的灵活性和效率。 1

主权项

1.一种页面防抓取方法，其特征在于，应用于业务集群服务器，所述方法包括：

对于所述业务集群服务器所支持的各项业务，均执行如下步骤：

接收客户端发送的页面获取请求，所述页面获取请求中包括所述页面获取请求对应的访问信息；

根据所述访问信息和预设检测策略，确定所述页面获取请求的安全检测结果；

根据所述安全检测结果，指示对应的服务器处理所述页面获取请求。

2.根据权利要求1所述的方法，其特征在于，所述访问信息中包括所述客户端的互联网协议IP地址；根据所述访问信息和预设检测策略，确定所述页面获取请求的安全检测结果，包括：

根据所述客户端的IP地址，判断预设缓存中是否存储有所述客户端的IP地址对应的安全检测结果；

若是，则将所述客户端的IP地址对应的安全检测结果确定为所述访问信息对应的安全检测结果；

若否，则确定所述访问信息对应的安全检测结果为安全。

3.根据权利要求2所述的方法，其特征在于，确定所述访问信息对应的安全检测结果为安全之后，还包括：

通过分布式消息系统在所述访问信息中获取所述客户端的超文本传输协议HTTP请求信息；

根据所述客户端的IP地址和HTTP请求信息中的至少一种，按照所述预设检测策略，确定所述客户端的IP地址对应安全检测结果；

将所述客户端的IP地址和所述安全检测结果存储至所述预设缓存中。

4.根据权利要求3所述的方法，其特征在于，根据所述客户端的IP地址和HTTP请求信息中的至少一种，确定所述客户端的IP地址对应安全检测结果，包括：

获取预设黑名单或者预设白名单，所述预设黑名单和所述预设白名单在多个业务线之间共享；

若所述客户端的IP地址在所述预设黑名单中，则确定所述客户端的IP地址对应的安全检测结果为不安全；

若所述客户端的IP地址在所述预设白名单中，则确定所述客户端的IP地址对应的安全检测结果为安全。

5.根据权利要求3所述的方法，其特征在于，根据所述客户端的IP地址和HTTP请求信息中的至少一种，确定所述客户端的IP地址对应安全检测结果，包括：

获取所述客户端的IP地址对应的访问频率、城市切换频率和网络信息，所述城市切换频率是指所述客户端的IP地址切换访问不同城市的网络的频率，所述网络信息包括网络地址和域名系统DNS；

若所述客户端的IP地址的访问频率大于第一阈值、或者所述客户端的IP地址的城市切换频率大于第二阈值、或者所述网络信息异常，则确定所述客户端的IP地址对应安全检测结果为不安全，否则，确定所述客户端的IP地址对应安全检测结果为安全。

6.根据权利要求3所述的方法，其特征在于，根据所述客户端的IP地址和HTTP请求信息中的至少一种，确定所述客户端的IP地址对应安全检测结果，包括：

判断所述HTTP请求中是否包括用户代理信息；

若是，则判断所述用户代理信息是否为搜索引擎的用户代理信息，若是，则确定所述客户端的IP地址对应安全检测结果为安全，若否，则确定所述客户端的IP地址对应安全检测结果为不安全；

若否，则确定所述客户端的IP地址对应安全检测结果为不安全。

7.根据权利要求3所述的方法，其特征在于，根据所述客户端的IP地址和HTTP请求信息中的至少一种，确定所述客户端的IP地址对应安全检测结果，包括：

判断在接收到所述页面获取请求之后的预设时长内，是否接收到异步请求，所述异步请求用于请求加载脚本文件；

若是，则确定所述客户端的IP地址对应安全检测结果为安全；

若否，则确定所述客户端的IP地址对应安全检测结果为不安全。

8.根据权利要求1‑7任一项所述的方法，其特征在于，所述根据所述安全检测结果，指示对应的服务器处理所述页面获取请求，包括：

根据所述安全检测结果，判断是否拦截所述页面获取请求；

若是，则指示所述对应的服务器向所述客户端发送验证码填写页面；

若否，则指示所述对应的服务器向所述客户端发送所述页面获取请求对应的页面信息。

9.一种页面防抓取装置，其特征在于，包括接收模块、第一确定模块和指示模块，其中，对于所述业务集群服务器所支持的各项业务：

所述接收模块用于，接收客户端发送的页面获取请求，所述页面获取请求中包括所述页面获取请求对应的访问信息；

所述第一确定模块用于，根据所述访问信息和预设检测策略，确定所述页面获取请求的安全检测结果；

所述指示模块用于，根据所述安全检测结果，指示对应的服务器处理所述页面获取请求。

10.根据权利要求9所述的装置，其特征在于，所述访问信息中包括所述客户端的互联网协议IP地址；所述第一确定模块具体用于：

根据所述客户端的IP地址，判断预设缓存中是否存储有所述客户端的IP地址对应的安全检测结果；

若是，则将所述客户端的IP地址对应的安全检测结果确定为所述访问信息对应的安全检测结果；

若否，则确定所述访问信息对应的安全检测结果为安全。