[发明专利]一种用于人读威胁情报推荐的知识图谱构建方法及威胁情报推荐方法

说明书

本发明公开了一种用于人读威胁情报推荐的知识图谱构建方法及威胁情报推荐方法。本发明通过爬取微博安全大V发布的人读威胁情报等作为原始数据，构建了用于人读威胁情报推荐的知识图谱，然后将知识图谱中的实体和实体关系抽象成低维度的向量表示e；对于每一条人读威胁情报I_i，生成人读威胁情报向量e(I_j)；将用户向量e(u)归一化结果和向量e(I_j)归一化结果拼接并添加对应的标记值，作为网络输入，训练该长短期记忆神经网络；对于一候选人读威胁情报，生成其对应的人读威胁情报向量并与用户u的用户向量拼接，然后输入网络，得出用户u是否会点击该候选人读威胁情报，根据判断结果确定是否将其推荐给用户u。

技术领域

本发明提出一种用于威胁情报推荐的知识图谱的构建方法和一种基于知识图谱和LSTM的威胁情报推荐方法，涉及了一种结合LDA主题模型的去噪实体抽取方法和一种知识感知的LSTM推荐方法。

背景技术

威胁情报是一种基于证据的知识，包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险，并可以用于通知主体针对相关威胁或危险采取某种响应。根据阅读威胁情报的对象的不同，威胁情报可以分为机读威胁情报和人读威胁情报。人读威胁情报需要提供更多的上下文、背景信息以及分析结果。例如对于一个活跃APT(高级持续威胁)组织的分析报告就是一份典型的人读威胁情报。

随着大数据等技术的发展，威胁情报这一术语应运而生，对网络安全保护系统的发展具有里程碑意义。面对严峻的安全形势，安全专家需要通过及时有效地跟踪和分析网络安全威胁的特征、方法和模式，改变传统的安全防御思想，识别和防御网络安全的新威胁。但是，在线内容和服务的爆炸性增长为用户创造了一个压倒性的选择。推荐系统旨在通过从大量数据中过滤出少量内容来满足其个性化兴趣，从而解决信息爆炸问题。传统的协同过滤方法通过学习相关用户的兴趣来预测长尾用户的兴趣，并在各个领域取得了成功。在实际应用中，用户对项目的个人偏好的用户项矩阵通常非常稀疏，导致基于协同过滤方法的推荐性能显著降低。为了解决这些问题，研究人员提出将辅助信息纳入协同过滤，例如社交网络，用户/项目属性，图像和上下文纳入协同过滤。知识图谱也是一种优质的外部辅助信息，知识图谱是Google用于增强其搜索引擎功能的知识库。本质上,知识图谱旨在描述真实世界中存在的各种实体或概念及其关系,其构成一张巨大的语义网络图，节点表示实体或概念，边则由属性或关系构成。

一般而言，人读威胁情报的推荐非常困难，其带来了3)大挑战：

1.人读威胁情报具有高度时间敏感性，并将在短时间内到期。特别是，在同一时间段内描述的安全事件更可能是相关的，这需要传统方法有效地按时间动态问题进行扩展。

2.人读威胁情报语言高度精简，包括安全术语，网络实体，新型黑客组织，攻击方法，攻击工具等。情报之间的相关性不仅基于共现或聚类结构，还基于攻击链关联。例如，如图1所示，用户关注右下角的人读威胁情报。实际上，用户也可能对关注过的人读威胁情报左侧的另一条人读威胁情报感兴趣。通过观察标记为红色的实体，可以看出它们更相似并且共享相同的CC服务器。通过比较标记为绿色的实体，顶部的人读威胁情报看起来与历史关注并不相似，但此人读威胁情报中提到的CC服务器82.137.255.56和另一个CC服务器31.9.48.183均属于APT-C-27组织。此时，用户也可能会对顶部的人读威胁情报感兴趣。

3.现有的通用的知识图谱不适用于人读威胁情报推荐系统，例如GoogleKnowledge Graph和Microsoft Satori。这些知识图谱成功应用于机器阅读，文本分类和文字嵌入等场景，但是它们中存在大量与安全领域无关的噪声。更重要的是，他们不考虑攻击链级别的实体关联。如果我们以图1为例，他们不考虑82.137.255.56和31.9.48.183这两个CC服务器是否属于同一个攻击组织。

发明内容