[发明专利]大数据安全可视化交互分析系统及方法

摘要

本发明揭示了一种大数据安全可视化交互分析系统及方法，所述系统包括高级预警中心模块、时间轴纵向关联分析器模块、相关地理信息追踪显示器模块、原始数据钻探与导航模块、安全聚向发现横向关联分析器模块、数据采集引擎模块、数据分类模块、数据存储器模块、规则库处理模块。本发明将枯燥、过于专业的以单一图表方式呈现的结果数据进行分拆解读，同步将其含有的时间要素、关系要素、地理位置信息要素等进一步挖掘，进行同步多维度呈现，能使非专业的管理决策人员对安全具有直观感性的认知能力。

主权项

1.一种大数据安全可视化交互分析系统，其特征在于，所述系统包括：高级预警中心模块(1)、时间轴纵向关联分析器模块(2)、相关地理信息追踪显示器模块(3)、原始数据钻探与导航模块(4)、安全聚向发现横向关联分析器模块(5)、数据采集引擎模块(6)、数据分类模块(7)、数据存储器模块(8)、规则库处理模块(9)；数据采集引擎模块(6)包括防火墙、IPS/IDS、交换机、服务器、审计系统、AV/病毒、行为管理、软件应用以及各类数据收集传感器，用于从各种网络对象收集海量安全大数据，分类并汇集到数据分类模块(7)，数据分类模块(7)包括终端日志类数据、网络类数据、应用类数据、行为与操作类数据；数据存储器模块(8)用于把从数据分类模块(7)中收集到的安全大数据进行收集归类，形成数据集预存储在数据存储器里；本数据集包含了所有针对网络对象收集的各类属性数据，包括：资产数据、IP、位置数据、日志数据、监控数据、行为与操作数据、应用业务数据、报警数据；规则库处理模块(9)用于从数据存储器模块(8)的数据集中为每个网络对象按设定规则库进行计算处理，输出高级告警数据，并从数据集中抽取分离与网络对象相关的属性数据进行输出；规则设定与计算处理过程为：规则库处理模块(9)对数据处理并输出相关告警数据的过程；高级预警中心模块(1)用于从规则库处理模块(9)中，根据规则库处理结果将输出的告警数据进行汇集并分类展示，并进一步进行可视化数据处理输出；高级预警中心模块(1)作为系统数据处理调度核心模块，根据报警信息，将相关网络对象的数据根据属性分类输出到时间轴纵向关联分析器模块(2)、相关地理信息追踪显示器模块(3)、原始数据钻探与导航模块(4)、安全聚向发现横向关联分析器模块(5)；高级预警中心模块(1)的预警步骤包括：步骤S11.主程序启动后，将启动“规则库处理AlarmRuleProcess”线程和“高级预警中心AdvancedAlartCenter”线程；步骤S12.“规则库处理AlarmRuleProcess”线程启动时，先从规则库中获取已启用的所有报警规则GetAlarmRules，然后不断地循环执行以下工作流程：步骤S12a.从数据存储器中获取最新的数据GetNewestDataFromStorage；步骤S12b.将最新数据依次与各报警规则进行匹配检查AlarmCheck；步骤S12c.若检查产生报警信息Alarm，则先将报警信息保存到数据存储器SaveAlarms，然后将报警信息依次添加到高级预警中心的处理队列尾部alarmCenterQueue；步骤S13.“高级预警中心AdvancedAlart”线程启动时，先启动“原始数据钻探RawDataMining”线程、“时间轴纵向关联分析VerticalAnalyze”线程及“安全聚向发现横向关联分析HorizontalAnalyze”线程，然后不断地循环执行以下工作流程：步骤S13a.若发现高级预警中心处理队列不为空，则从队列开始处取出一个待处理的报警信息；步骤S13b.对报警信息的相关地理追踪信息进行呈现GeoTraceInfoDisplay；步骤S13c.将报警信息添加到原始数据钻探处理队列尾部dataMiningQueue；步骤S13d.将报警信息添加到横向分析处理队列尾部horAnalyzeQueue；步骤S13e.将报警信息添加到纵向分析处理队列尾部verAnalyzeQueue；步骤S14.“原始数据钻探RawDataMining”线程启动后，不断地循环执行以下工作流程：步骤S14a.若发现原始数据钻探处理队列不为空，则从队列开始处取出一个待处理的报警信息；步骤S14b.根据报警信息所有相关的原始数据ID，即RecordID，从所有原始数据allRawDatas中，筛选出相关的原始数据；步骤S14c.根据报警信息所有相关的原始数据ID，即RecordID，从所有已保存的报警信息中，筛选中相关的报警信息；步骤S14d.根据在步骤S14b和步骤S14c中获取的数据，根据具体业务需求进行分析处理；步骤S14e.输出分析结果；步骤S15.“时间轴纵向关联分析VerticalAnalyze”线程启动后，不断地循环执行以下工作流程：步骤S15a.若发现纵向分析处理队列不为空，则从队列开始处取出一个待处理的报警信息；步骤S15b.创建一个关联原始数据字典relativeDataDict；步骤S15c.根据报警信息所有相关的原始数据ID，即RecordID，从所有原始数据allRawDatas中，筛选出相关的原始数据；步骤S15d.对于报警信息相关的每个原始数据，以该原始数据的记录时间RecordTime的设定时间前的时刻为开始时间，以RecordTime为结束时间，从相关原始数据中，筛选中对应时间段的、源自同一IP、同一资产名称的历史数据，并添加到步骤15b中创建的关联原始数据字典中；步骤S15e.根据在步骤S15c和步骤S15d中获取的数据，根据具体业务需求进行分析处理；步骤S15f.输出分析结果；步骤S16.“安全聚向发现横向关联分析HorizontalAnalyze”线程启动后，不断地循环执行以下工作流程：步骤S16a.若发现横向关联分析队列不为空，则从队列开始处取出一个待处理的报警信息；步骤S16b.根据报警信息所有相关的原始数据ID，即RecordID，从所有原始数据allRawDatas中，筛选出相关的原始数据；步骤S16c.根据报警信息所有相关的原始数据ID，即RecordID，从所有已保存的报警信息中，筛选出相关的报警信息；步骤S16d.将筛选出的报警信息执照报警等级进行分组；步骤S16e.对报警信息的相关地理追踪信息进行呈现GeoTraceInfoDisplay；步骤S16f.根据步骤S16b、步骤S16c、步骤S16d中获取的数据，根据具体业务需求进行分析处理；步骤S16g.输出分析结果；安全聚向发现横向关联分析器模块(5)将本模块进一步分析处理的数据结果中带有地理属性的数据输出到相关地理信息追踪显示器模块(3)进行进一步展示处理；原始数据钻探与导航模块(4)根据高级预警中心模块(1)的告警数据输出为索引，从数据存储器模块(8)中进行相关原始数据的定位准备与获取；高级预警中心模块(1)包括分组监视模块(1‑1)、雷达显示模块(1‑2)、高危简报集模块(1‑3)、高级预警触发器模块(1‑4)、基于排序的告警显示模块(1‑5)、告警源事件模块(1‑6)、报文黑板显示模块(1‑7)；分组监视模块(1‑1)按产生高级告警数据的重要资产等级进行分组重点监视；分组监视模块(1‑1)称为重要资产监控单元，其定义为：既可能是某1个独立的设备，或者是多个设备组成的一个业务系统，或者是一个特定的规则与业务逻辑及其组合；分组监视模块(1‑1)将按其定义分组归类的高级告警信息同步输出到基于时间序列的雷达显示模块(1‑2)和高级预警触发器模块(1‑4),进行进一步处理；基于时间序列的雷达显示模块(1‑2)根据收到的高级告警信息，根据其带有的时间属性进行排序，以图形化方式显示在模拟雷达用户界面UI中，显示方式包括：圆形点阵、方形矩阵、相控阵、概率分布云图显示形式，在显示的要素中包括根据时间序列进行图形化列示、根据资产重要等级进行颜色区别显示；以圆形屏幕模拟雷达显示方式，越靠近中心点的位置为最新出现的告警事件，越远离中心点为越早些时候的事件；事件产生的图形圆点根据资产重要程度显示为不同颜色，以资产多少划分为高、中、低，则显示的事件则按相应属性带有区别的高、中、低颜色；基于时间序列的雷达显示模块(1‑2)能达到对产生的告警事件等级、分布与时效性进行一种概括性的总览；高级预警触发器模块(1‑4)为接收的告警信息进行进一步的数据筛选与分组输出，筛选规则包括：告警类别、资产级别、时间区间；高级预警触发器模块(1‑4)对告警信息降噪与进一步筛选处理的过程：根据各种网络对象的警报事件分类进行统计，形成按警报来源种类、网络对象的分类数据特征；根据各网络对象的警报组合形成按警报种类、网络对象的告警级别的数据特征矩阵表；将经过统计分类的数据特征存储在存储器表里，形成相应的告警动态数字矩阵表；当每条告警信息同时满足至少5种以上条件时，本系统才触发一次告警预警信息；而高级预警触发器模块(1‑4)则会将与本次高级预警事件相关的信息输送至其他模块继续处理；根据设定的筛选规则生成高危简报集模块(1‑3)：高级预警触发器模块(1‑4)将把1小时以内的、并且属于高级资产属性的告警信息筛选出来，生成高危简报集；高级预警触发器模块(1‑4)分离数据生成基于时间序列的告警源事件模块(1‑6)，用以根据时间排序列示相关告警数据，而最新相关警示信息报文黑板显示模块(1‑7)则是用以显示基于时间序列的告警源事件模块(1‑6)中最新的事件的全部源数据内容，也支持在基于时间序列的告警源事件模块(1‑6)中任意选定显示列表中的任何事件在最新相关警示信息报文黑板显示模块(1‑7)中显示其全面源数据明细内容；高级预警触发器模块(1‑4)还生成基于排序的告警显示模块(1‑5)，这里排序规则包括按资产引发的所有告警或者分类告警数量进行排序；时间轴纵向关联分析器模块(2)包括触发高危告警事件集模块(2‑1)、分离资产时间等属性模块(2‑2)、基于时间的历史数据检索模块(2‑3)、波形显示模块(2‑4)、信号投放时间轴显示模块(2‑5)、基于时间序列的显示模块(2‑6)、定位显示模块(2‑7)、方向机模块(2‑8)、区间控制模块(2‑9)、反馈显示模块(2‑10)；触发高危告警事件集模块(2‑1)从高级预警中心模块(1)模块获取所触发的高危告警事件集数据：一路输送到模块(2‑2)用于处理分离出包括资产、时间属性数据；另一路输送至定位显示单元(2‑7)进行处理；基于时间的历史数据检索模块(2‑3)根据从模块(2‑2)分离获取的资产、时间属性数据为线索，包括启动基于时间的历史数据检索；结果输出到波形显示模块(2‑4)和信号投放时间轴显示模块(2‑5)进行再处理；波形显示模块(2‑4)根据基于时间的历史数据检索模块(2‑3)的检索输出结果将其进行图形化展示输出，输出方式包括波形曲线、图表、分布图显示形式；基于时间的历史数据检索模块(2‑3)根据告警的某个资产数据从数据存储器模块(8)中对对应资产所发生的所有事件进行检索，并按时间进行排序，形成该资产事件历史流量的波形图；信号投放时间轴显示模块(2‑5)控制输出到基于时间序列的显示模块(2‑6)的事件数据类别，包括高级、中级、低级或其组合的数据集；基于时间序列的显示模块(2‑6)实现以时间轴为纵向坐标导向，将所需列示的事件按时间序列进行图形化展示，展示形式为二维图表、三维、多维方式中的一种或多种；基于时间序列的显示模块(2‑6)可以通过向前或向后设定时间控制与方向机模块(2‑8)互动，来实现对基于时间序列的显示模块(2‑6)中按时间轴列示数据的历史数据浏览控制；区间控制模块(2‑9)设定并控制基于时间序列的显示模块(2‑6)屏幕中默认显示区间的范围大小，区间设定包括时间、地域事件属性数据；区间控制模块(2‑9)预先输出到反馈显示模块(2‑10)进行调整，确定后即可正式切换基于时间序列的显示模块(2‑6)的数据显示控制；相关地理信息追踪显示器模块(3)包括告警数据模块(3‑1)、分离地理位置信息属性数据模块(3‑2)、全球地图相关性显示模块(3‑3)、原始数据排序模块(3‑4)、基于地理位置的数据排序模块(3‑5)；告警数据模块(3‑1)将来自上级模块的告警数据输出到分离地理位置信息属性数据模块(3‑2)进行进一步处理；分离地理位置信息属性数据模块(3‑2)从来自告警数据模块(3‑1)的数据中分离出带有地理位置信息，包括GPS、IP与地理相关的属性及其关联性数据，并将其输出到全球地图相关性显示模块(3‑3)；全球地图相关性显示模块(3‑3)根据来自分离地理位置信息属性数据模块(3‑2)的数据按其地理位置属性显示在全球地图坐标上，并通过图形显示其相关联性，关联性显示包括星形连线模式；将带有地理位置信息的告警事件按其坐标投放在地图上，并根据其相互间的关联性用连线方式表示；IP坐标A如果受到IP坐标B与C的攻击扫描，则在图示中将A分别与B、C进行连线表明关联；同时，全球地图相关性显示模块(3‑3)将数据输出至原始数据排序模块(3‑4)和基于地理位置的数据排序模块(3‑5)，分别实现所有带有地理位置信息数据的排序列示，包括按时间、类型、数量字段进行排序；以及按地理位置分类进行汇总排序；原始数据钻探与导航模块(4)的详细建立过程包括同步告警中心数据模块(4‑1)、相关性分析模块(4‑2)、大类定位随动导航系统模块(4‑3)、原始告警数据集合列示模块(4‑4)；同步告警中心数据模块(4‑1)从高级预警中心模块(1)进行所有接收的告警信息的同步工作，并由相关性分析模块(4‑2)进行进一步处理；相关性分析模块(4‑2)以同步告警中心数据模块(4‑1)的告警信息数据为基础，判别并提取出其中包含的类别与资产属性信息，以其作为索引分别由大类定位随动导航系统模块(4‑3)和基于时间序列与告警级别的原始告警数据集合列示模块(4‑4)传到数据存储器(8)中进行原始数据的检索与准备工作；大类定位随动导航系统模块(4‑3)是与上级模块告警信息的更新而同步工作的，一旦接收新的告警信息，本模块即刻提取该告警信息中包含的资产类别，并将与此告警相关的原始事件数据从上级数据存储器模块(8)中检索提取后按此类别进行归档，实现按资产类别进行快捷的原始数据获取及取证能力；当日常告警不断出现时，大类定位随动导航系统模块(4‑3)将告警相关的资产按其网络设备、主机、存储、安防设备的类别进行原始数据提取后归档，实现直接通过资产类别寻找并获取原始数据及取证的能力；基于时间与告警级别的原始告警数据列示模块(4‑4)实现将与告警相关的原始数据按时间与告警级别进行排序，方便用户进行检索与获取；安全聚向发现横向关联分析器模块(5)包括高级预警中心数据获取模块(5‑1)、资产目标提取模块(5‑2)、横向相关性检索模块(5‑3)、时间区间装置器模块(5‑4)、安全聚向关系显示模块(5‑5)；高级预警中心数据获取模块(5‑1)从高级预警中心模块(1)获取高级告警信息数据，并输出到资产目标提取模块(5‑2)进行处理；资产目标提取模块(5‑2)从高级预警中心数据获取模块(5‑1)获取的告警信息数据中将引发高级告警的资产目标提取出来，若IP为A的设备资产引发了高级告警信息，则资产目标提取模块(5‑2)将IP为A的资产信息提取出来，输出到横向相关性检索模块(5‑3)做进一步处理；横向相关性检索模块(5‑3)根据资产目标信息从上级存储器模块(8)中启动遍历检索所有与其相关的事件来源信息，并将结果数据输出到安全聚向关系显示模块(5‑5)进行图形化展示；服务器A引发高级告警后，横向相关性检索模块(5‑3)将从事件存储器模块(8)中将所有来源如路由器、交换机、IPS、流量管理、审计系统事件来源产生的包含服务器A信息的所有事件信息检索出来，并汇总与其发生关系的目标地址信息；并将此信息输出到安全聚向关系显示模块(5‑5)进行可视化输出；时间区间装置器模块(5‑4)设定并控制横向相关性检索模块(5‑3)进行检索数据的时间区间，以及设定输出到安全聚向关系显示模块(5‑5)进行显示数据关联的时间区间；安全聚向关系显示模块(5‑5)实现以资产目标为核心视角的显示，在设定时间区间内的所有与之产生关联的关系目标，围绕资产形成星形列示，显示方式包括二维、三维、多维的表现形式。