[发明专利]一种基于能源网络高效的日志流量采集与智能分析系统

说明书

本发明公开了一种基于能源网络高效的日志流量采集与智能分析系统，包括，数据采集模块、数据智能分析模块、归并事件处理模块、数据存储模块和原始数据加密模块；数据采集模块接收不同的设备传上来的采集信息；数据智能分析模块将采集信息发送至数据存储模块进行存储，并判断采集信息是否为事件，如果是，将采集信息转换为事件；判断事件是否为归并事件，如果是，发送至归并事件处理模块，如果不是，发送至数据存储模块进行存储；归并事件处理模块统计一段时间内不同事件的归并数，再通过定时器定时发送所有归并事件给数据存储模块；数据存储模块利用数据库，存储采集的事件以及采集信息；原始数据加密模块将原始的流量数据进行加密。

技术领域

本申请涉及能源网络领域，尤其涉及一种基于能源网络高效的日志流量采集与智能分析系统。

背景技术

近年来，能源系统已成为国际网络战的重要攻击目标，能源监控系统安全防护承受巨大压力，通用的安全产品一般基于网络流量和报文分析技术，主要对互联网通用服务和协议进行监测、分析，对于网络空间隔离、设备和用户相对确定、网络服务私有可控、正常情况下无人操作的能源网络监控系统而言，不是最佳选择；同时现有的采集技术是通过配置能源网络中设备的日志模块，通过syslog的方式去采集网络设备的日志信息，会存在支持的设备类型较少、事件种类单一、且对重复的日志缺乏归并的处理，导致重复日志显示过多，增加用户查找事件原因成本；此外现在的流量采集上报平台，没有对报文进行加密处理，存在被篡改与信息窃取的风险，因此迫切需要研发适合能源监控系统,面向设备事件的网络数据采集与分析及流量上传到远端平台的系统。

发明内容

有鉴于此，本发明提供一种基于能源网络高效的日志流量采集与智能分析系统。

具体地，本发明是通过如下技术方案实现的：

本发明提供一种基于能源网络高效的日志流量采集与智能分析系统，包括：

数据采集模块、数据智能分析模块、归并事件处理模块、数据存储模块和原始数据加密模块；

数据采集模块接收不同的设备传上来的采集信息，并将采集信息发送至所述数据智能分析模块；

数据智能分析模块将采集信息发送至数据存储模块进行存储，并判断采集信息是否为事件，如果是事件，将采集信息转换为事件；判断事件是否为归并事件，如果是归并事件发送至归并事件处理模块，如果不是归并事件，发送至数据存储模块进行存储；

归并事件处理模块统计一段时间内不同事件的归并数，再通过定时器定时发送所有归并事件给数据存储模块；

数据存储模块利用mysql数据库，存储采集的事件以及采集信息；

原始数据加密模块将原始的流量数据进行AES加密，防止数据被篡改或窃取分析。

优选地，将所述采集信息转换为事件的具体方法为：利用查找截取的方式，将采集信息中的设备或系统、事件类型与子事件类型内容获取出来。

优选地，判断事件是否为归并事件的具体方法为：按事件库与归并事件库的格式分组，然后利用高效的匹配算法与归并事件库和事件库进行匹配。

优选地，匹配算法包括：利用除留取余hash算法，通过创建hash表，计算hash值快速找到需要去重的事件节点。

优选地，匹配算法步骤如下：

第一步：采用除留取余hash表算法，创建hash表，基于IP算出hash值；

第二步：判断hash表中的IP值是否相等，如果IP值相等，则认为之前已经创建过了IP节点，如果IP值不相等，则创建新的IP hash节点；