[发明专利]一种大数据驱动的网络安全态势监测及可视化方法

说明书

本发明涉及一种大数据驱动的网络安全态势监测及可视化方法。该方法包括：1)提取不同维度的网络安全基础数据；2)采用Storm与Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；3)Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；4)Strom从实时数据中提取出相关的安全特征项，将其与网络安全特征知识库进行特征匹配，判定网络安全态势；5)对Strom判定的网络安全态势进行动态可视化展示。本发明能够有效地监测网络安全态势，并全方位展现网络安全态势的可视化结果。

技术领域

本发明属于网络技术、信息安全技术领域，具体涉及一种大数据驱动的网络安全态势监测及可视化方法。

背景技术

当代信息技术的发展推动了数据的产生、收集、传输、共享与分析，使得科学与工程研究日益成为数据密集型的工作。伴随着网络流量的日益增加，攻击的类型和复杂度也逐渐提升，部署在网络上的各种安全系统、设备和平台所提供的安全数据具有广泛分布、跨组织、格式差异大、海量、非数值型等特点，数据维度从单一维度提升至多维，无论从存储还是计算方面，都不能利用传统的存储整合技术完成网络安全态势的实时精确判断。

另一方面，高维海量的数据增加了安全人员的工作难度：(1)认知负担过重，通过传统的日志分析方式分析人员在一天有限的时间内很难对上亿条报警做出详尽的分析和判断；(2)交互性不够，当发现可疑事件时，现有的分析方式不能够提供相关数据过滤、事件细节显示等功能以帮助分析人员作出进一步有效的判断；(3)缺乏对网络全局的认识，分析人员往往看到的都是单一的数据记录，很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。(4)基于传统数据库的日志分析难以发现一些新的攻击模式，不能提前对攻击的趋势做出预测或提前防范。

发明内容

基于以上的问题，本发明提出了一种实时大数据驱动的网络安全态势监测及可视化方法，能够有效地监测网络安全态势，并全方位展现网络安全态势的可视化结果。

本发明采用的技术方案如下：

一种大数据驱动的网络安全态势监测及可视化方法，包括如下步骤：

1)提取不同维度的网络安全基础数据，包括实时数据和历史数据；

2)采用实时计算系统Storm与分布式计算系统Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；

3)分布式计算系统Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；

4)实时计算系统Strom从实时数据中提取出相关的安全特征项，将其与所述网络安全特征知识库进行特征匹配，并根据匹配结果判定网络安全态势；

5)对实时计算系统Strom判定的网络安全态势进行动态可视化展示。

进一步地，步骤1)所述不同维度的网络安全基础数据包括网站、主机、经纬度、IP地址、漏洞、安全等；所述历史数据包括每季度网站扫描评估报告和每季度主机扫描评估报告。

进一步地，步骤2)对于实时数据的处理过程是：首先将实时数据将发送至海量日志聚合系统Flume，同时在HDFS系统上进行数据备份；Flume将收集到的实时数据发送至分布式消息系统Kafka以做进一步处理；经过Kafka处理后的数据流逐条送入实时计算系统Storm，在Strom中完成所有的实时业务逻辑；最后将处理结果以类似栈的形式压入Redis存储系统，同时Web前端从Redis中提取结果并进行显示。