[发明专利]一种基于深度学习的反爬虫方法、装置和介质

权利要求书

1.一种基于深度学习的反爬虫方法，其特征在于，包括以下步骤：

使用爬虫工具对网站进行爬取，并记录普通用户对所述网站的正常访问行为，将所述爬取行为的信息和所述正常访问行为的信息存储在数据库中；

根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练；

响应于接收到web请求及其IP，将所述请求信息和所述IP的访问历史记录输入到所述训练好的模型中以判断是否为爬虫；

响应于判断所述web请求为爬虫，对所述web请求进行拦截并封禁所述IP，并将所述IP写入黑名单中。

2.根据权利要求1所述的方法，其特征在于，响应于接收到web请求及其IP，将所述请求信息和所述IP的访问历史记录输入到所述训练好的模型中以判断是否为爬虫包括：

将预定时间段内的相同IP的请求信息和访问历史记录共同输入到所述训练好的模型中以判断是否为爬虫。

3.根据权利要求1所述的方法，其特征在于，根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练包括：

在将所述数据库中的信息输入到所述分类器基本模型之前进行正则化处理，并加入dropout机制，以减轻过拟合。

4.根据权利要求3所述的方法，其特征在于，根据所述数据库中的信息对爬虫判别模块中的分类器基本模型进行训练还包括：

所述分类器为二分类器，将所述正则化处理后的信息进行标准化处理后作为判别输入量输入到所述二分类器中。

5.根据权利要求4所述的方法，其特征在于，所述分类器采用SVM机制，所述基本模型是定义在特征空间上的线性分类器。

6.根据权利要求1所述的方法，其特征在于，所述爬虫工具包括基于scrapy框架的爬虫、基于selenium框架的爬虫以及基于伪造headers的爬虫。

7.根据权利要求6所述的方法，其特征在于，使用爬虫工具对网站进行爬取，并记录普通用户对所述网站的正常访问行为，将所述爬取行为的信息和所述正常访问行为的信息存储在数据库中包括：

对不同所述爬虫工具产生的爬取行为进行标注，将所述标注后的爬取行为信息存储到数据库中。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过可视化界面检查所述黑名单和/或白名单，并手动添加用户到所述黑名单和/或白名单中。

9.一种基于深度学习的反爬虫装置，其特征在于，包括：

至少一个处理器；和

存储器，所述存储器存储有处理器可运行的程序代码，所述程序代码在被处理器运行时实施如权利要求1-8中任一项所述的方法。

10.一种计算机介质，其特征在于，包括可被处理器执行的程序代码，所述程序代码在被处理器执行时实施如权利要求1-8中任一项所述的方法。