[发明专利]基于scrapy的分布式暗网资源挖掘系统及方法

权利要求书

1.基于scrapy的分布式暗网资源挖掘系统，其特征在于，包括中心节点控制模块和从节点爬取模块，所述中心节点控制模块包括爬虫种子任务队列、任务预处理模块、暗网任务队列和明网任务队列，所述从节点爬取模块包括暗网爬取模块、明网爬取模块和爬虫管理器；

所述爬虫种子任务队列用于存储用户提供的待爬取种子任务，以及从节点爬取模块提取的新的待爬取的种子任务；所述任务预处理模块用于对爬虫种子任务队列中的任务进行匹配以及去重过滤，并将属于暗网的任务存入暗网任务队列，属于明网的任务存入明网任务队列；

所述暗网爬取模块中的暗网爬虫用于从暗网任务队列中读取暗网爬取任务，基于暗网爬取任务下载对应的暗网网页，并从暗网网页中提取新的暗网域名，将提取到的新的暗网域名存入爬虫种子任务队列；所述明网爬取模块中的明网爬虫用于从明网任务队列中读取明网爬取任务，基于明网爬取任务下载对应的明网网页，并从明网网页中提取新的明网域名和暗网域名，将提取到的新的明网域名和暗网域名存入爬虫种子任务队列；所述爬虫管理器用于根据中心节点控制模块发送的请求信息，对爬虫进程进行管理。

2.如权利要求1所述的基于scrapy的分布式暗网资源挖掘系统，其特征在于，还包括Redis数据库，所述Redis数据库用于存储暗网任务队列和明网任务队列。

3.如权利要求1所述的基于scrapy的分布式暗网资源挖掘系统，其特征在于，还包括kafka消息系统，所述kafka消息系统用于存储爬虫种子任务队列。

4.如权利要求1所述的基于scrapy的分布式暗网资源挖掘系统，其特征在于，暗网爬取模块通过tor代理的方式下载暗网网页，暗网爬取模块实现tor代理的方法是：新建proxychains的配置文件，通过proxychains启动scrapy，从而强制暗网爬虫走tor代理。

5.如权利要求1所述的基于scrapy的分布式暗网资源挖掘系统，其特征在于，所述任务预处理模块包括暗网插件和明网插件；所述暗网插件用于暗网待爬取任务匹配，并实现暗网待爬取任务的判重，将未被爬取过的任务存入Redis数据库中用于存储暗网任务的key中；所述明网插件用于明网待爬取任务匹配，并实现明网待爬取任务的判重，将未被爬取过的任务存入Redis数据库中用于存储明网任务的key中。

6.如权利要求5所述的基于scrapy的分布式暗网资源挖掘系统，其特征在于，暗网插件通过以下正则表达式实现暗网待爬取任务匹配：

^https？:\/\/(([a-z0-9_-]{1,64}\.){0,4}[a-z09＝]{16}\.onion)(:|\/|$)

明网插件通过以下正则表达式实现暗网待爬取任务匹配：

((http|https)://)(([a-zA-Z0-9\._-]+\.(com|cn)))(/[a-zA-Z0-9\&％_\./-～-]*)？。

7.如权利要求1所述的基于scrapy的分布式暗网资源挖掘系统，其特征在于，中心节点控制模块发送的请求信息包括爬虫启动请求信息和爬虫结束请求信息，爬虫管理器基于爬虫启动请求信息创建爬虫进程，基于爬虫结束请求信息结束爬虫进程。