[发明专利]一种敏感数据接口爬虫识别方法及装置

说明书

本发明公开了一种敏感数据接口爬虫识别方法及装置，所述方法包括：获取网站的web访问日志；根据web访问日志对爬虫进行识别；判断爬虫类型；按照不同的爬虫类型使用爬虫的参数向网站发起请求，获取请求响应的内容并按照请求url归集请求响应的内容，将网站返回的内容的文本部分按照归集域名分组进行存储；提取存储的文本的特征数据，每个域名下的文本对应提取出重要链接地址、文本关键词结果；识别文本关键词结果中是否敏感信息，输出是否涉敏，涉敏数据类型；本发明的优点在于：对爬虫动机进行有效识别，识别出涉及敏感信息的爬虫行为，保障网络信息安全。

技术领域

本发明涉及爬虫识别领域，更具体涉及一种敏感数据接口爬虫识别方法及装置。

背景技术

现有技术中，可以通过网络爬虫等手段来获取网络中的数据，按照一定的规则，自动地抓紧去网站信息的程序或者脚本。现有技术大部分是针对爬虫的拦截，但爬虫还是可以通过改变程序或者模拟真实用户的行为进行绕过，尤其是网站的接口存在一定有价值的敏感信息。

现有技术爬虫识别方法可以大致归为两类，其中一类为专家规则引擎方案，通过对业务日志采集数据，并配置单个或多个属性的事件进行数量累加，通过阈值类规则对超过阈值的事件进行拦截；或通过属性、IP、useragent等属性采集的黑名单进行拦截。由于技术逐渐提升，黑产使用模拟器，特殊软件进行风控规则引擎试探并绕过，难以持续保证网站信息安全，尤其是网站的接口存在一定有价值的敏感信息的情况下，更加难以维持网站的信息安全。

另一类是基于用户行为序列的异常检测识别爬虫方案，通过构建用户访问行为路径，使用概率模型等技术方案计算行为路径概率，使用无监督学习方法输出异常的用户及相关用户的访问路径。但该技术方案存在大量的误报，人工二次分析的工作量更加大和复杂，导致难以维持存在敏感信息的网站接口的信息安全。

中国专利授权公告号CN108712426B，公开了一种基于用户行为埋点的爬虫识别方法及系统，其中方法包括：S1、客户端接收用户发起的访问请求，并将访问请求向后端服务系统异步发送；S2、后端服务系统在接收到访问请求后，同步用户的访问日志，访问日志包括用户的访问行为数据；S3、后端服务系统通过规则引擎聚合访问行为数据；S4、后端服务系统根据聚合后的访问行为数据判断用户是否属于爬虫，若是则根据访问日志聚合出用于标识用户为爬虫的爬虫特征数据，然后将爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；S5、客户端根据爬虫列表响应访问请求。该发明通过同步访问日志，并聚合日志中的访问行为数据后识别爬虫，提高爬虫识别率和准确。但是并不是所有的爬虫都需要拦截，该方案只是对爬虫进行识别，并不能识别具有敏感数据的爬虫。

综上所述，现有技术大部分是针对爬虫的拦截，不能识别具有敏感数据的爬虫，从而导致难以保证网络信息安全。

发明内容

本发明所要解决的技术问题在于现有技术缺乏对具有敏感信息的接口进行爬虫识别的方法。

本发明通过以下技术手段实现解决上述技术问题的：一种敏感数据接口爬虫识别方法，所述方法包括以下步骤：

步骤一：获取网站的web访问日志；

步骤二：根据web访问日志对爬虫进行识别；

步骤三：判断爬虫类型；

步骤四：按照不同的爬虫类型使用爬虫的参数向网站发起请求，获取请求响应的内容并按照请求url归集请求响应的内容，将网站返回的内容的文本部分按照归集域名分组进行存储；

步骤五：提取存储的文本的特征数据，每个域名下的文本对应提取出重要链接地址、文本关键词结果；

步骤六：使用敏感数据发现技术识别文本关键词结果中是否存在敏感信息，并输出对应的结果。