[发明专利]一种安全威胁协同建模方法及系统

说明书

本发明属于安全威胁鉴别技术领域，具体涉及一种安全威胁协同建模方法及系统，方法包括如下步骤：数据共享；数据融合；数据特征提取；建模；审计。本发明对数据的分享行为通过贡献分的形式进行量化和结算，鼓励数据交易和数据共享；实体ID以脱敏方式交换，在保障数据安全的前提下仍能支持联合建模能力和威胁IOC匹配能力；支持普通的本地机器学习和联邦学习，各参与方可按需选择数据开放程度，根据自身预算取得外部数据资源，独立或合作性地完成AI建模，增强安全智能。

技术领域

本发明属于安全威胁鉴别技术领域，具体涉及一种安全威胁协同建模方法及系统。

背景技术

目前，AI技术在网络安全威胁检测领域发挥着日益重要的作用。网络空间中的域名、IP、URL、恶意程序等网络实体所遗留的行为痕迹经AI处理程序分析挖掘，形成了丰富的行为特征，为有监督研判和无监督探索提供了数据支撑。基于行为特征的恶意性研判是这一领域的重要任务。当安全防护系统发现未知的网络实体时，需要有能力研判其是否存在恶意，以做出进一步决策。需要进行恶意性研判的实体类型包括域名、IP、URL和恶意程序等。当提取出的特征越能全面地反映实体的行为，就越有希望揭示实体的意图。此外，对于有监督学习任务，还需要收集和掌握高质量的训练标签。 然而，行为特征的提取和训练标签的收集都是困难的，其中一个重要原因是，行为痕迹往往是分散的。这种分散性体现在如下几个层面： （1）机构划界。行为数据和标签数据被不同的机构或部门掌握，互相没有打通。这种现象的成因，一方面是组织的安全保密需求，另一方面是缺乏一致性利益的驱动。（2）设备隔阂。企业中不同的安全设备分别从自身的视角对网络实体进行观察，产生盲人摸象式的观测记录，未能有效集成。 （3）实体割裂。攻击团伙的基础设施包括主机、域名、恶意程序等多种资源类型，在攻击事件中，这些资源可以集团化作战，需要整体性看待。防护者如未能将相关资源进行关联，则会失去一些重要信息。（4）人机分离。训练数据集是机器学习模型的饲料。机器学习模型需要大量的标注样本作为训练数据集。网络安全的算法模型，以安全专家的研判标注为饲料。这些数据集是稀缺而宝贵的，是安全AI技术落地的瓶颈。究其原因，首先，安全专家是稀缺的；其次，安全专家的分析研判工作成果往往不能对接AI场景，即被处理成可供机器学习模型所用的形式。我们需要安全专家同时提供判断依据和判断结果，分别作为模型的训练特征及训练标签。然而，由于安全专家的主要工作并非AI导向，其分析研判过程，往往停留在专家自身的脑海里，或飘零在杂乱无章的报告中，常常难以被其他人类所理解，遑论被机器识别和认知。因此，安全行业应主动提取和整合人类个体的输出，产生可机读的研判依据和研判结果，从而形成适合AI场景的训练数据集。

因此，防护方需要打通不同参与方提供的数据源，为AI模型提供充分的数据燃料。联邦学习及威胁情报共享是解决机构边界造成的数据孤岛的途径。XDR（扩展的检测响应）是打通设备隔阂的机制。为了解决实体割裂问题，则需要引入图分析。将这些手段整合起来，需要一种协同化机制，将不同的机构、不同的岗哨所输出的安全数据加以融合。

AI标签数据是模型或专家的智慧结晶。威胁情报，尤其是运营类的机读威胁情报，就是一种AI标签数据。AI落地最难的环境就是对标签数据的搜集和管理。

AI特征数据，一般是通过主动探测或被动观测获取，代表一个客观事件。例如，沙箱可以记录样本的行为序列，网闸可以统计特定IP的流量水平，而有些IDS则可针对IOC访问进行告警。这些设备产生的日志，可以被抽象为行为特征，通过数据预处理手段，构建安全数据集，作为AI模型训练和预测的输入。然而，企业如果直接将这类数据如果对外共享，可能会暴露自身的网络细节，存在一定的数据安全风险。

安全行业普遍认同情报共享的重要性，但仍没有找到一种被普遍接受的共享机制。安全团队和安全企业纷纷建立情报社区。这种社区需要出台激励机制，以促进信息共享。提供出有价值情报的参与方，应该得到名声上的和物质上的报酬。这就意味着，要对信息的流转进行审计，对情报的价值进行验证，对各方的共享进行量化。这一方法也适用于企业同监管机构进行信息交换的场景。

发明内容