[发明专利]一种大数据驱动的网络安全态势监测及可视化方法

权利要求书

1.一种大数据驱动的网络安全态势监测及可视化方法，其特征在于，包括如下步骤：

1)提取不同维度的网络安全基础数据，包括实时数据和历史数据；

2)采用实时计算系统Storm与分布式计算系统Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Storm用于处理实时数据；

3)分布式计算系统Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；

4)实时计算系统Storm从实时数据中提取出相关的安全特征项，将其与所述网络安全特征知识库进行特征匹配，并根据匹配结果判定网络安全态势；

5)对实时计算系统Storm判定的网络安全态势进行动态可视化展示；

其中，步骤4)所述进行特征匹配的方法是：

a)根据IP目标地址，若IP目标地址与网络安全特征知识库中的危急主机IP匹配，则定义该主机安全态势为危机，向上层即前端可视化层递交结果，并将该主机出现的危急次数加1；

b)根据该条数据的安全等级，若为低，则直接过滤；若为中，则根据安全事件规则编号匹配该条安全事件属于何种类别；若为分布式拒绝服务攻击，则定义该主机安全状态为危机，向上层递交结果；若为探测扫描攻击，则探测扫描计数器加1，直到达到阈值才将相应的安全事件类型视为高危，向上层递交结果；

c)所述网络安全特征知识库维护一张安全事件-漏洞对应表，当接收到一条安全事件时，在安全事件-漏洞对应表中查找该安全事件的目的主机是否存在相关漏洞，若存在，则将该主机定义为危机状态，同时在危急主机IP表中做特别标注；

其中，步骤5)所述可视化展示包括：

a)基于网络实时流量的网络安全可视化：采用点对点攻击线条的可视化显示方式，显示原IP地址、目的IP地址、源端口、目的端口、协议、时间、攻击类型，同时辅助其他方法，包括采用颜色映射表示不同类型攻击事件；

b)基于历史报告的网络安全可视化：对海量的历史报告根据不同安全需求进行不同维度的可视化展示，包括：全国范围内，主机的安全态势分布或网站安全态势分布；不同安全域下，主机的安全态势分布或网站安全态势分布；IP地址与安全风险值分布关系；网站与安全风险值分布关系。

2.如权利要求1所述的方法，其特征在于，步骤1)所述不同维度的网络安全基础数据包括网站、主机、经纬度、IP地址、漏洞、安全事件；所述历史数据包括每季度网站扫描评估报告和每季度主机扫描评估报告。

3.如权利要求1所述的方法，其特征在于，步骤2)对于实时数据的处理过程是：首先将实时数据将发送至海量日志聚合系统Flume，同时在HDFS系统上进行数据备份；Flume将收集到的实时数据发送至分布式消息系统Kafka以做进一步处理；经过Kafka处理后的数据流逐条送入实时计算系统Storm，在Storm中完成所有的实时业务逻辑；最后将处理结果以类似栈的形式压入Redis存储系统，同时Web前端从Redis中提取结果并进行显示。

4.如权利要求3所述的方法，其特征在于，步骤2)对于历史数据的处理过程是：将历史数据送至预处理整合模块进行简单的格式处理后，送到分布式计算系统Hadoop进行大数据分析处理，然后将统计的简单数据存至Mysql数据库，将非结构化的数据存储至Hbase数据库，Web前端无需再进行逻辑处理，直接读取数据库中的数据进行展示。

5.如权利要求1所述的方法，其特征在于，步骤3)所述大数据处理方法包括下列中的一种或多种：聚类与融合、关联分析、熵分析、态势预测；所述安全特征项包括：IP源地址、IP目标地址、事件名称、事件类别、安全等级、漏洞代号。

6.如权利要求1所述的方法，其特征在于，步骤3)所述网络安全特征知识库定期更新，随着源源不断的数据接入，Hadoop不断更新迭代分析结果，并发现新威胁或进行预测。

7.如权利要求1所述的方法，其特征在于，步骤5)所述可视化展示的内容包括：全球动态攻击图、国内动态攻击图、国内安全态势图、全国安全漏洞分布图、公告栏及其他功能。

8.如权利要求1所述的方法，其特征在于，所述实时计算系统Storm包括如下模块：KafakaSpout、ReadBolt、IPBolt、RollCountBolt、FieldRankBolt以及GlobalRankBolt，这些模块的整体处理过程如下：

a)KafakaSpout不断从外部数据源读取攻击记录，并将攻击记录发射给ReadBolt；

b)ReadBolt分析出攻击记录中的攻击源和攻击目的，然后将攻击源、攻击目标以及原始攻击记录发射给IPBolt；

c)IPBolt负责对攻击记录进行详细分析，并将攻击信息封装到SendData数据结构，然后写入Redis；同时提取攻击源、攻击目标、攻击类型等信息发送给RollCountBolt；

d)RollCountBolt主要完成对攻击源、攻击目标、攻击类型的分类计数统计，并将统计结果分别存储在不同的Map结构中，然后将所有统计结果发射给FieldRankBolt；

e)每个FieldRankBolt都对自己收到的不同攻击源、不同攻击目标、不同攻击类型的所有统计结果进行排序，并筛选各自的topN列表，并将这些排序列表发射给GlobalRankBolt；

f)GlobalRankBolt汇总各个FieldRankBolt发来的不同攻击源、不同攻击目标以及不同攻击类型的排序列表，重新进行排序，获取不同攻击源、不同攻击目标以及不同攻击类型最终的topN列表，然后更新Redis中对应的存储空间。