[发明专利]基于大数据分析的威胁预警监测系统、方法及部署架构

摘要

本发明公开了基于大数据分析的威胁预警监测系统、方法及部署架构，监测系统，包括，数据采集系统模块，对原始网络流量进行实时数据采集；数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理；实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示。用于多种业务场景下的网络安全威胁态势感知和深度分析，实现从攻击预警、攻击识别到分析取证的综合能力。

主权项

1.基于大数据分析技术的威胁预警监测系统，其特征是，包括，数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；后台管理系统模块，对整个监测系统进行运维监控管理；所述实时威胁智能分析系统模块包括：分析中心模块、安全日志模块、可疑文件模块、威胁情报模块、前端取证模块及专家分析模块；所述分析中心模块包括IP行为画像模块和数据挖掘模块，IP行为画像模块实现对IP的整体画像，针对系统中存在的IP地址能搜索出来，查看与该IP相关的信息，还能钻取进入二级IP详细信息页面；通过提供全域IP钻取，对IP进行DNS请求、威胁情报命中、安全日志和网络流量多个维度的分析并持续钻取；通过DNS请求，能分析域名访问和C&C外联情况，IP命中的威胁情报和安全日志佐证被攻击情况，网络流量为回溯取证提供依据；数据挖掘模块实现对攻击关联图、攻击源分布、时序图、威胁类型分布、威胁情报命中及力导图中的数据进行挖掘。