[发明专利]基于大数据分析的威胁预警监测系统、方法及部署架构

权利要求书

1.基于大数据分析技术的威胁预警监测系统，其特征是，包括，

数据采集系统模块，通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集；

数据存储系统模块，对数据采集系统模块采集的数据进行数据归并和数据清洗处理后再进行存储管理，支持分布式文件系统、行式数据库、列式数据库及对象存储系统存储；

实时威胁智能分析系统模块，利用数据挖掘、文本分析、流量分析、全文搜索引擎、实时处理对安全数据进行深度的分析与挖掘，结合入侵检测模型、网络异常行为模型和设备异常行为模型实时甄别未知的安全威胁；

态势感知展示系统模块，采用了数据可视化工具库实时、立体地对安全威胁态势进行综合展示；

后台管理系统模块，对整个监测系统进行运维监控管理。

2.如权利要求1所述基于大数据分析技术的威胁预警监测系统，其特征是，所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；

实时威胁智能分析系统模块依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；

态势感知展示系统模块实时展现获取的威胁情报、APT攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意IP的数量、恶意URL的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行TOP排名展现。

3.如权利要求1所述基于大数据分析技术的威胁预警监测系统，其特征是，所述实时威胁智能分析系统模块包括：分析中心模块、安全日志模块、可疑文件模块、威胁情报模块、前端取证模块及专家分析模块。

4.如权利要求3所述基于大数据分析技术的威胁预警监测系统，其特征是，所述分析中心模块包括IP行为画像模块和数据挖掘模块，

IP行为画像模块实现对IP的整体画像，针对系统中存在的IP地址能搜索出来，查看与该IP相关的信息，还能钻取进入二级IP详细信息页面；通过提供全域IP钻取，对IP进行DNS请求、威胁情报命中、安全日志和网络流量多个维度的分析并持续钻取；通过DNS请求，能分析域名访问和C&C外联情况，IP命中的威胁情报和安全日志佐证被攻击情况，网络流量为回溯取证提供依据；

数据挖掘模块实现对攻击关联图、攻击源分布、时序图、威胁类型分布、威胁情报命中及力导图中的数据进行挖掘。

5.如权利要求4所述基于大数据分析技术的威胁预警监测系统，其特征是，所述攻击关联图整体展示安全日志中关联的内部、外部主机IP之间的相关性；

攻击源分布展示全球地图分布上的安全威胁情况，根据安全日志的源IP的Geo地理位置按国家、城市进行聚合统计；

时序图模块根据安全日志中的威胁事件发生的时间进行聚合；

威胁类型分布能挖掘出安全日志的威胁类型相关的数据；威胁次数根据安全日志的威胁类型进行聚合，并与威胁单位进行关联；

力导图实现了对安全日志中主机IP与威胁IP的关联，根据主机IP与大数据量威胁IP进行关联分析；

威胁情报命中实现了对黑IP、黑域名、黑MD5数据的挖掘，根据威胁情报库与安全日志中的主机IP进行碰撞关联，对被威胁的IP主机数和威胁次数进行统计。

6.如权利要求3所述基于大数据分析技术的威胁预警监测系统，其特征是，所述安全日志功能模块记录了所有类型的威胁事件日志，提供关键词检索、自定义时间查询或者实时查询、标签过滤、删除事件日志、下载事件数据包、日志研判；

可疑文件模块记录所有已发现的可疑的文件，并将这些文件及其静态、动态检测报告存储在大数据的分布式文件系统之中；

威胁情报模块支持黑IP、黑域名、黑MD5、黑URL四类数据；对四类数据对命中趋势图、地理位置分布图、命中次数、命中主机IP占比进行分析展示，还实现对这四类数据的导入；

前端取证模块实现数据采集系统模块中不同前端设备的分开配置操作，进行数据包管理、警报配置、行为模型及前端回查；

专家分析模块为整个系统提供所有关键性数据的查询，包括但不限于：APT威胁事件、恶意文件、TCP会话、UDP会话、DNS。