[发明专利]一种基于深度学习的反爬虫方法、装置和介质

说明书

本发明提供一种基于深度学习的反爬虫方法、装置和介质，该方法包括以下步骤：使用爬虫工具对网站进行爬取，并记录普通用户对所述网站的正常访问行为，将所述爬取行为的信息和所述正常访问行为的信息存储在数据库中；根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练；响应于接收到web请求及其IP，将所述请求信息和所述IP的访问历史记录输入到所述训练好的模型中以判断是否为爬虫；响应于判断所述web请求为爬虫，对所述web请求进行拦截并封禁所述IP，并将所述IP写入黑名单中。本发明基于深度学习算法，可以准确识别基于多种爬虫框架的爬虫程序，成功改进了网站反爬机制，识别率高、误杀率低。

技术领域

本发明涉及计算机领域，并且更具体地，涉及一种基于深度学习的反爬虫方法、装置和介质。

背景技术

21世纪，人们越来越依靠网络来获取自己想要的数据，但是网络上的数据纷繁复杂，而人们的精力往往是有限的，所以需要借助网络爬取获取数据以便可以进一步分析。但网络爬虫由于其过快的获取数据，会给网站带来负载压力，所以网站负责人会设置反爬虫机制。目前爬虫技术主要为基于python的scrapy框架和selenium框架。前者可以结合分布式框架Redis做成分布式爬虫，后者是采用的模拟人类浏览器的方法，结合beautiful soup库进行爬取。前者采用的是伪造requests请求的header报头的形式，解析返回的response并进行结构化操作。后者采用的是模拟人类浏览行为的浏览器界面进行操作，使用xpath进行网页元素的定位，有的爬虫使用了winapi32等模块，执行鼠标的点击，键盘的输入等手动操作。但网络爬虫由于其过快的获取数据，会给网站带来负载压力，所以网站负责人会设置反爬虫机制。

针对网页爬虫程序，目前的一种反爬机制是将封杀IP作为反爬机制，因为这会给正常用户造成相当大的不便，且使用IP池有时会出现网页的内容异常等情况，所以此方法有一定的局限性。另一种反爬机制是加入了验证码机制，比如语音验证码，图像验证码等。但是也存在人工验证码识别和基于人工智能的验证码识别接口，目前的形式对于反爬机制提出了更高的要求。

发明内容

鉴于此，本发明实施例的目的在于提出一种基于深度学习的反爬虫方法和装置，以解决现有的网站服务器因爬虫问题导致占用并消耗大量服务器资源的问题。

基于上述目的，本发明实施例的一方面提供了一种基于深度学习的反爬虫方法，包括以下步骤：

使用爬虫工具对网站进行爬取，并记录普通用户对所述网站的正常访问行为，将所述爬取行为的信息和所述正常访问行为的信息存储在数据库中；

根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练；

响应于接收到web请求及其IP，将所述请求信息和所述IP的访问历史记录输入到所述训练好的模型中以判断是否为爬虫；

响应于判断所述web请求为爬虫，对所述web请求进行拦截并封禁所述IP，并将所述IP写入黑名单中。

在一些实施方式中，响应于接收到web请求及其IP，将所述请求信息和所述IP的访问历史记录输入到所述训练好的模型中以判断是否为爬虫包括：

将预定时间段内的相同IP的请求信息和访问历史记录共同输入到所述训练好的模型中以判断是否为爬虫。

在一些实施方式中，根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练包括：

在将所述数据库中的信息输入到所述分类器基本模型之前进行正则化处理，并加入dropout机制，以减轻过拟合。

在一些实施方式中，根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练还包括：

所述分类器为二分类器，将所述正则化处理后的信息进行标准化处理后作为判别输入量输入到所述二分类器中。