[发明专利]一种解决Web证书认证的爬虫方法

权利要求书

1.一种解决Web证书认证的爬虫方法，其特征在于：包括如下步骤：

步骤1：获取目标网站的Web证书后根据证书的类型选择不同的方式导入证书获取Scrapy爬虫框架访问URL的权限；

步骤2：在Scrapy爬虫框架的下载中间件DownLoad Middleware中集成自动化工具Selenium实现Scrapy爬虫框架访问URL暨模拟为浏览器访问；

步骤3：基于步骤2进入浏览器后重写Scrapy爬虫框架中的下载中间件Downloader Middleware，并使用自动化工具Selenium的Webdriver获取Web页内容，将其返回给Scrapy爬虫框架中的爬虫Spider并进行解析获取数据完成爬虫工作。

2.根据权利要求1所述的一种解决Web证书认证的爬虫方法，其特征在于：所述步骤3包括如下步骤：

步骤3.1：Scrapy引擎从调度器Scheduler中取出要访问的URL，并将其封装为请求Request传给集成了自动化工具Selenium的下载器Downloader；

步骤3.2：集成了自动化工具Selenium的下载器Downloader将资源下载后封装为应答包Response；

步骤3.3：爬虫Spider解析应答包Response得到实体Item后交由实体Item管道处理并将处理完的数据进行存储完成爬虫工作。

3.根据权利要求1所述的一种解决Web证书认证的爬虫方法，其特征在于：所述步骤1包括如下步骤：

步骤1.1：获取目标网站的Web证书后判断采集数据过程中是否需要加载浏览器，若是，跳至步骤1.2；若否，跳至步骤1.3；

步骤1.2：提前导入证书；

步骤1.3：在爬虫Spider访问对应Web的URL时，附带证书的存放路径。