[发明专利]基于scrapy的分布式暗网资源挖掘系统及方法

说明书

本发明涉及数据挖掘领域，公开了一种基于scrapy的分布式暗网资源挖掘系统及方法，用以提升暗网资源挖掘的效率、广度以及灵活性。本发明包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；暗网在人为提供和通过明网爬取得暗网域名的基础上再通过暗网爬取模块和明网爬取模块从暗网页面和明网网页中爬取更多的暗网域名，从而实现对暗网域名的大量获取以及对暗网网页页面的存储。本发明适用于暗网资源挖掘。

技术领域

本发明涉及数据挖掘领域，特别涉及基于scrapy的分布式暗网资源挖掘系统及方法。

背景技术

暗网是指通过特殊软件或使用非标准的通信协议和端口才能访问的网络。Tor是目前最主流的暗网匿名通信系统，由于暗网的完全匿名性的特点，孕育了大量的非法交易。因此研究对暗网资源的挖掘有重大意义。传统的搜索引擎和爬虫技术能够爬取的仅仅是互联网上提供的小部分web信息，即明网上的信息。不能实现对暗网资源的挖掘。现有的研究大多又是针对互联网上不能被标准搜素引擎索引的非表面网络内容即深网，并不是现在所谓的暗网；少数虽然针对暗网进行研究及爬取，但在设计上没有考虑爬取的效率，广度，以及灵活性。

Scrapy是目前最主流的爬虫框架，它是基于twisted异步网络库实现的，在爬取速度上相对其他爬虫是高效的，且具有可定制性。然而Scrapy提供的下载模块是基于http协议实现的，暗网使用的是socke协议。另外由于网络爬虫对I/O的要求较高，Scrapy将待爬取的URLs直接存储在内存中而非硬盘中，这样一来，在爬取大量的暗网时时，当爬取的网页数量达到数万时，需要存储的URLs数量可能会超过百万甚至千万，再加上Python本身是脚本语言，其对象占用内存往往比C/C++等编译型语言要大得多，而且Python垃圾收集器的释放内存算法并不会在对象不再被引用时立即释放内存。因此，很可能会导致单机内存枯竭。单机使用scrapy爬取，内存将会是瓶颈。

发明内容

本发明要解决的技术问题是：提供一种基于scrapy的分布式暗网资源挖掘系统及方法，用以提升暗网资源挖掘的效率、广度以及灵活性。

为解决上述问题，本发明采用的技术方案是：

基于scrapy的分布式暗网资源挖掘系统，包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；

所述爬虫种子任务队列用于存储用户提供的待爬取种子任务，以及从节点爬取模块提取的新的待爬取的种子任务；所述任务预处理模块用于对爬虫种子任务队列中的任务进行匹配以及去重过滤，并将属于暗网的任务存入暗网任务队列，属于明网的任务存入明网任务队列；

所述暗网爬取模块中的暗网爬虫用于从暗网任务队列中读取暗网爬取任务，基于暗网爬取任务下载对应的暗网网页，并从暗网网页中提取新的暗网域名，将提取到的新的暗网域名存入爬虫种子任务队列；所述明网爬取模块中的明网爬虫用于从明网任务队列中读取明网爬取任务，基于明网爬取任务下载对应的明网网页，并从明网网页中提取新的明网域名和暗网域名，将提取到的新的明网域名和暗网域名存入爬虫种子任务队列；所述爬虫管理器用于根据中心节点控制模块发送的请求信息，对爬虫进程进行管理。

进一步的，本发明还包括Redis数据库，所述Redis数据库用于存储暗网任务队列和明网任务队列。

进一步的，本发明还包括kafka消息系统，所述kafka消息系统用于存储爬虫种子任务队列。

进一步的，本发明还包括MongoDB数据库，所述MongoDB数据库用于存储暗网爬取模块所下载的暗网网页以及明网爬取模块所下载的明网网页。