[发明专利]基于大数据分析的威胁预警监测系统、方法及部署架构

说明书

技术领域

本发明涉及网络安全威胁预警技术领域，尤其涉及一种基于大数据分析的威胁预警监测系统、方法及部署架构。

背景技术

当前我国各政府部门和企事业单位都加大了网络安全建设的投入力度，部署了各种类型的安全设备或系统，如入侵检测系统(IDS)、入侵防御系统(IPS)、防火墙、杀毒软件等。但这些基于特征规则的传统安全设备只能检测已知攻击，漏报和误报均较高。

安全运营中心(SOC)对安全系统的大量日志进行整合，不仅数据源单一，而且缺乏提供精准分析的能力与手段，安全分析人员从这些海量数据分析出有效线索无异于大海捞针。因此，SOC并未对网络安全积极防御起到有效作用。

当前情况下，国家电网公司大力推进坚强智能电网和全球能源互联网建设，电网数字化和智能化程度不断提高，与此同时，随着智能化时代的迈入，电网日益受到来自互联网的计算机病毒、逻辑炸弹、木马的攻击，信息安全防护的难度大幅增加，对电力信息安全和智能电网的发展提出新的挑战。电网信息系统安全数据的采集和存储能力、信息系统安全威胁的发现感知能力、立体化纵深防御能力等方面，都面临着相比过去传统信息系统的安全防护体系更高的技术和管理规范化要求。尤其是在相关安全情报数据的数量、速度、种类的迅速膨胀的情况下，海量异构数据的融合、存储、管理和利用对传统的安全分析方法提出了重大的挑战。

由于网络攻击行为通常分散在各地，攻击过程由多步骤实施，具有一定的复杂性，仅靠单个网络安全设备的日志信息无法完全还原出攻击原貌，这严重制约了网络安全分析人员评估整个网络环境的运行状态以及用户的活动情况。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于大数据分析的威胁预警监测系统、方法及部署架构，用于多种业务场景下的网络安全威胁态势感知和深度分析，实现从攻击预警、攻击识别到分析取证的综合能力。

为了实现上述目的，本发明采用如下技术方案：

基于大数据分析技术的威胁预警监测系统，包括，

数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；

数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；

实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；

态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；

后台管理系统模块，对整个监测系统进行运维监控管理。

所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；

实时威胁智能分析系统模块依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；

态势感知展示系统模块实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。

所述实时威胁智能分析系统模块包括：分析中心模块、安全日志模块、可疑文件模块、威胁情报模块、前端取证模块及专家分析模块。

所述分析中心模块包括IP行为画像模块和数据挖掘模块，

IP行为画像模块实现对IP的整体画像，针对系统中存在的IP地址能搜索出来，查看与该IP相关的信息，还能钻取进入二级IP详细信息页面；通过提供全域IP钻取，对IP进行DNS请求、威胁情报命中、安全日志和网络流量多个维度的分析并持续钻取；通过DNS请求，能分析域名访问和C&C外联情况，IP命中的威胁情报和安全日志佐证被攻击情况，网络流量为回溯取证提供依据；

数据挖掘模块实现对攻击关联图、攻击源分布、时序图、威胁类型分布、威胁情报命中及力导图中的数据进行挖掘。

所述攻击关联图整体展示安全日志中关联的内部、外部主机IP之间的相关性；

攻击源分布展示全球地图分布上的安全威胁情况，根据安全日志的源IP的Geo地理位置按国家、城市进行聚合统计；