[发明专利]一种暗网威胁情报收集与信息关联系统和方法

说明书

本发明公开了一种暗网威胁情报收集与信息关联系统和方法，涉及互联网信息技术领域领域。暗网威胁情报收集与信息关联系统包括暗网数据收集与存储子系统、暗网数据展示和信息关联子系统，暗网数据收集和存储子系统包括暗网代理模块和暗网数据收集模块，暗网数据展示和信息关联子系统包括知识图谱构建模块和明暗网数据匹配模块。本发明有利于为明网网络安全事件溯源提供有效的技术支持，打击暗网中非法售卖漏洞、隐私数据的黑色产业，加强对暗网的监管力度。

技术领域

本发明涉及互联网信息技术领域，尤其涉及一种暗网威胁情报收集与信息关联系统和方法。

背景技术

在狭义上，暗网特指匿名网络，以TOR(The Second Generation Onion Router)匿名通信系统为代表。暗网只能通过特定的技术或者通信协议才能访问，与明网相对。暗网最大的特点是，在暗网中数据传输通常是匿名且匿踪的，能充分保障用户乃至网站服务器的匿名性。而加密货币的诞生使得匿名转账成为可能，这在某种程度上助长了暗网市场中的违法买卖，对信息安全、人身安全、社会稳定等各方面都造成了重大威胁。

知识图谱是结构化的语义知识库。其基本组成单位是“实体-关系-实体”三元组，以及“实体-属性-值”。实体间通过关系相互连接，构成网状的知识结构。在构建知识图谱的过程中，如果数据来源是非结构化数据，则往往需要运用到属性提取、关系提取、实体提取等进行信息抽取技术，利用实体对齐和实体消歧等做知识融合，以建立本体库。网页作为知识图谱非结构化数据的重要来源之一，更是包含大量描述各种实体和实体之间丰富关系的数据万维网。

网页爬虫是收集网页信息的主要方式。暗网爬虫与明网爬虫之间最主要的区别是暗网爬虫需要特定的能接入暗网的代理，其次是由暗网本身地址难以发现、地址容易改变、暗网速度慢且不稳定等暗网本身的特性带来的对爬虫效率的消极影响。

因此，本领域的技术人员致力于研究暗网威胁情报收集与信息关联系统和方法。如何加强对TOR暗网市场的监管，挖掘暗网中威胁情报所蕴含的信息，这对于发现信息安全相关事件的源头，具有重大意义。

发明内容

有鉴于现有现实需求和意义，本发明解决的技术问题是如何获取与指定明网数据关联度高的暗网威胁情报，为明网网络安全事件溯源提供有效的技术支持，加强对暗网的监管力度。

为实现上述目的，发明人从来自暗网的商品及帖子数据中抽取实体和关系，构建描述暗网市场和论坛动态的暗网知识图谱，进一步地获取与指定明网数据关联度高的暗网威胁情报。在本发明的一个实施例中，发明人提供了一种暗网威胁情报收集与信息关联系统，包括暗网数据收集与存储子系统、暗网数据展示和信息关联子系统，所述暗网数据收集和存储子系统包括暗网代理模块和暗网数据收集模块；

所述暗网代理模块是所述暗网数据收集模块中爬虫的代理；所述暗网数据收集模块在本地编写针对不同暗网网站的爬虫程序，借助所述爬虫的代理收集所述暗网网站上的数据，并存储在本地数据库中；

所述暗网数据展示和信息关联子系统，包括知识图谱构建模块和明暗网数据匹配模块；

所述知识图谱构建模块对所述本地数据库中已有的暗网数据进行信息抽取、知识融合，建立多个对应暗网活动的“实体-关系-实体”实例，所述实例融合成知识库，存入所述本地数据库，构建暗网威胁情报的知识图谱；所述明暗网数据匹配模块基于已有的所述暗网威胁情报的知识图谱，对明网网络安全事件的描述进行匹配，优先显示与所述明网网络安全事件关联的“实体-关系-实体”实例。

可选地，在上述任一实施例中的暗网威胁情报收集与信息关联系统，所述暗网代理模块为在云服务器上搭建Tor代理与polipo协议转换器。

可选地，在上述任一实施例中的暗网威胁情报收集与信息关联系统，所述暗网数据收集模块基于scrapy框架，所述本地数据库为MongoDB。