[发明专利]网站反爬机制自动化检测方法、装置、设备及存储介质

说明书

本申请提供一种网站反爬机制自动化检测方法、装置、设备及存储介质，其中，网站反爬机制自动化检测方法包括：获取访问目标网站所需的请求参数和目标网站响应访问请求所产生的第一响应结果；根据访问目标网站所需的请求参数，随机生成针对目标网站的请求头；向目标网站发送请求头并获取目标网站针对请求头返回的第二响应结果；计算第一响应结果与第二响应结果之间的相似度等步骤。本申请能够快速检测web站点防护措施，提升开发人员前期准备、中期开发、后期测试的效率，进而使得开发人更高效的开发和定制自己的爬虫。另一方面，本申请能够帮助前后端测试人员快速检测反爬措施实际的保护效果，进而快速提升网站反爬能力建设。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种网站反爬机制自动化检测方法、装置、设备及存储介质。

背景技术

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。如：(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

然而，部分网站可能存在反爬技术，进而导致无法收集网站的信息，进而导致IP资源的浪费。

发明内容

本申请实施例的目的在于提供一种SQL语句异常检测方法、装置、设备及存储介质，用于实现网站的反爬机制的自动检测。

为此，本申请第一方面公开一种网站反爬机制自动化检测方法，所述方法包括：

获取访问目标网站所需的请求参数和所述目标网站响应访问请求所产生的第一响应结果；

根据访问所述目标网站所需的请求参数，随机生成针对所述目标网站的请求头；

向所述目标网站发送所述请求头并获取所述目标网站针对所述请求头返回的第二响应结果；

计算所述第一响应结果与所述第二响应结果之间的相似度；

根据所述第一响应结果与所述第二响应结果之间的相似度，判断所述目标网站是否存在反爬机制。

在本申请第一方面中，作为一种可选的实施方式，在所述根据所述第一响应结果与所述第二响应结果之间的相似度，判断所述目标网站是否存在反爬机制之后，所述方法还包括：

当所述目标网站存在反爬机制时，随机修改所述请求头；

基于修改后的所述请求头访问所述目标网站，并得到第三响应结果；

根据所述第三响应结果与所述第一响应结果之间的差异，重复执行所述随机修改所述请求头和所述基于修改后的所述请求头访问所述目标网站，直至所述第三响应结果与所述第一响应结果之间的差异满足预设条件；

当所述第三响应结果与所述第一响应结果之间的差异满足预设条件，根据修改后的所述请求头确定所述目标网站的反爬策略信息。