[发明专利]一种基于网络安全的大数据安全分析平台系统

说明书

一种基于网络安全的大数据安全分析平台系统，包括数据采集模块、数据存储模块、数据挖掘分析模块和数据可视化展示模块；所述数据采集模块与所述数据存储模块连接；所述数据存储模块与所述数据挖掘分析模块连接；所述数据挖掘分析模块与所述数据可视化展示模块连接；所述数据采集模块被配置为采集结构化数据、非结构化数据和半结构化数据；所述数据存储模块被配置为存储所述数据采集模块采集的数据；所述数据挖掘分析模块被配置为对数据进行统计分析和挖掘分析；所述数据可视化展示模块被配置为向用户反馈数据。本发明降低了数据存储成本，提高了数据存储量，提高了网络安全分析处理效率。

技术领域

本发明涉及网络安全技术领域，尤其涉及一种基于网络安全的大数据安全分析平台系统。

背景技术

网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改或泄露，系统能连续、可靠且正常地运行，网络服务不中断。网络分析系统是一个让网络管理者，能够在各种网络安全问题中，对症下药的网络管理方案，它对网络中所有传输的数据进行检测、分析、诊断，帮助用户排除网络事故，规避安全风险，提高网络性能，增大网络可用性价值。

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有5V特点，即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)和Veracity(真实性)。大数据处理主要包括以下几个阶段：采集、导入/预处理、统计/分析以及挖掘。

信息技术高速发展，网络架构日趋复杂，网络安全数据分析量增速和增量巨大，数据来源丰富，数据类别多样，为及时准确的检测出安全隐患和网络攻击行为，需提高信息采集和传输的速率；采用传统的结构化数据库存储数据具有存储成本高和存储量小的缺点，且对大量数据进行分析和复杂查询的效率低下，难以满足现阶段网络安全分析需求。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于网络安全的大数据安全分析平台系统，降低了数据存储成本，提高了数据存储量，提高了网络安全分析处理效率。

(二)技术方案

为解决上述问题，本发明提供了一种基于网络安全的大数据安全分析平台系统，包括数据采集模块、数据存储模块、数据挖掘分析模块和数据可视化展示模块；

所述数据采集模块与所述数据存储模块连接；所述数据存储模块与所述数据挖掘分析模块连接；所述数据挖掘分析模块与所述数据可视化展示模块连接；

所述数据采集模块被配置为采集结构化数据、非结构化数据和半结构化数据；

所述数据存储模块被配置为存储所述数据采集模块采集的数据；

所述数据挖掘分析模块被配置为对数据进行统计分析和挖掘分析；

所述数据可视化展示模块被配置为向用户反馈数据。

优选的，采用Hive实现数据的离线统计分析；采用Storm实现数据的实时在线分析。

优选的，对于分布式和高可用的海量日志的采集、聚合和传输，采用Flume实现；对于活跃流式数据的处理，采用Kafka进行缓存；对于实时数据的存储分析，采用Storm实现分布式实时消息处理。

优选的，采用具有高容错性和高吞吐量数据访问特性的HDFS分布式文件系统存储所述数据采集模块采集的海量数据；采用Hbase进行高效大数据量的数据存储管理。