[发明专利]一种解决Web证书认证的爬虫方法

说明书

技术领域

本发明涉及有证书的Web爬虫方法领域，尤其是一种解决Web证书认证的爬虫方法。

背景技术

Selenium自动化工具：基于Web的自动化测试工具，它提供了一系列测试函数，用于支持Web自动化测试，这些函数非常灵活，它们能够通过许多方式定位界面元素。Scrapy爬虫框架：是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取结构化的数据。URL：统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址；互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。网站安全证书：通过在客户端浏览器和Web服务器之间建立一条SSL安全通道保证了双方传递信息的安全性，而且用户可以通过服务器证书验证他所访问的网站是否真实可靠。

现在很多网站访问的时候都需要提供证书才能够正常访问，浏览器只对安装过证书的用户提供访问，这样可以让网站更具的安全性；对于无证书的网站，Scrapy爬虫框架比较完善，可以实现爬虫工作；当我们通过爬虫去访问一个有证书的网站的时候，Scrapy无法完成对有证书的Web进行数据采集，网站打不开并且采集不到任何信息；现有技术中Selenium自动化工具，对于一些简单的单机爬虫实现比较容易，但是对于大型的、分布式的爬虫系统来说，自动化工具Selenium是无法实现的；如何对有证书验证的网站进行爬虫工作是从事爬虫工作者来说是一个必须解决的问题，所以需要一种Web证书认证的爬虫方法通过结合自动化工具Selenium和Scrapy爬虫框架实现对有证书的网站进行爬虫工作的同时还可以扩展Scrapy爬虫框架和自动化工具Selenium的作用。

发明内容

本发明的目的在于：本发明提供了一种解决Web证书认证的爬虫方法，解决了现有Scrapy爬虫框架无法完成对有证书验证的网站的爬虫工作的问题。

本发明采用的技术方案如下：

一种解决Web证书认证的爬虫方法，包括如下步骤：

步骤1：获取目标网站的Web证书后根据证书的类型选择不同的方式导入证书获取Scrapy爬虫框架访问URL的权限；

步骤2：在Scrapy爬虫框架的下载中间件DownLoad Middleware中集成自动化工具Selenium实现Scrapy爬虫框架访问URL暨模拟为浏览器访问；

步骤3：基于步骤2进入浏览器后重写Scrapy爬虫框架中的下载中间件Downloader Middleware，并使用自动化工具Selenium的Webdriver获取Web页内容，将其返回给Scrapy爬虫框架中的爬虫Spider并进行解析获取数据完成爬虫工作。

优选地，所述步骤3包括如下步骤：

步骤3.1：Scrapy引擎从调度器Scheduler中取出要访问的URL，并将其封装为请求Request传给集成了自动化工具Selenium的下载器Downloader；

步骤3.2：集成了自动化工具Selenium的下载器Downloader将资源下载后封装为应答包Response；

步骤3.3：爬虫Spider解析应答包Response得到实体Item后交由实体Item管道处理并将处理完的数据进行存储完成爬虫工作。

优选地，所述步骤1包括如下步骤：

步骤1.1：获取目标网站的Web证书后判断采集数据过程中是否需要加载浏览器，若是，跳至步骤1.2；若否，跳至步骤1.3；

步骤1.2：提前导入证书；

步骤1.3：在爬虫Spider访问对应Web的URL时，附带证书的存放路径。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明通过在Scrapy爬虫框架集成自动化工具Selenium，通过运行代码后根据配置的网页驱动软件Webdriver启动对应的浏览器，实现对需要证书的访问，导入证书实现Scrapy爬虫框架访问URL，完成有证书验证浏览器的爬虫工作，Scrapy爬虫框架完善且成熟，功能齐全，解决了现有Scrapy爬虫框架无法完成对有证书验证的网站的爬虫工作的问题，达到了高效实现有证书验证的爬虫工作的效果；

2.本发明的Scrapy爬虫框架结合自动化工具Selenium自动化测试，实现登录、并发、存储、监控和Scrapy，功能扩展极广，效率高且稳定性强；