[发明专利]一种电力信息系统海量日志数据实时处理系统

说明书

本发明公开了一种电力信息系统海量日志数据实时处理系统，包括：接收数据模块；融合存储模块；数据加载模块，用于数据存储和数据查询过程的实时加载；实时分析处理模块，采用Storm框架技术实时计算海量数据；数据快速查询检索模块，包括查询请求获取模块，关联规则建立模块和查询结果显示模块，所述查询请求获取模块用于获取用户输入的查询关键字；所述关联规则建立模块基于Storm框架技术并行处理数据，建立数据之间的关联；所述查询结果显示模块将查询结果输出到用户端。采用Storm框架技术、HBase数据库和基于Storm框架技术的关联规则获取方法，实现海量日志数据的低延时的实时存储和查询结果获取。

技术领域

本发明涉及电力信息系统日志数据处理领域，具体涉及一种电力信息系统海量日志数据实时处理系统。

背景技术

随着电力网络信息化的发展，信息技术已经深入到电力生产的各个环节。电力信息系统在运行过程中会产生大量的日志数据，包括系统网络连接状态、数据库状态等系统运行日志以及设备运行参数等业务相关日志。如果对这些海量日志的分析与评价不及时，信息挖掘不准确，可能会造成严重的电力安全事故，因此在电力信息系统运维过程中，针对海量日志数据进行实时有效分析显得尤为必要，数据处理速度不及时和效率低下等问题，严重影响了日志数据的处理和分析。

发明内容

针对上述现有技术存在的问题，本发明提供了一种电力信息系统海量日志数据实时处理系统，通过数据挖掘、大数据分析等相关技术对信息系统多个指标日志数据进行关联分析，实现对系统故障可进行迅速定位，方便查到系统故障根因，提升信息系统运维效率。包括：

接收数据模块，用于接收采集到的海量日志数据；

融合存储模块，用于将海量日志数据存储到HBase数据库中；

数据加载模块，用于数据存储和数据查询过程的实时加载；

实时分析处理模块，采用Storm框架技术实时计算海量数据；

数据快速查询检索模块，包括查询请求获取模块，关联规则建立模块和查询结果显示模块，所述查询请求获取模块用于获取用户输入的查询关键字；所述关联规则建立模块基于Storm框架技术并行处理数据，建立数据之间的关联；所述查询结果显示模块将查询结果输出到用户端。

作为上述方案的进一步优化，所述融合存储模块，基于Storm分布式流式处理技术将海量日志数据存储到HBase数据库中。

作为上述方案的进一步优化，所述融合存储模块中包括内存映射文件，用于存储数据文件到数据文件所在内存地址的映射关系。

作为上述方案的进一步优化，所述数据加载模块，在数据存储过程采用Kafka消息队列技术将海量数据实时存储到HBase数据库中，在数据查询过程中采用Impala技术从HBase数据库快速获取查询结果。

作为上述方案的进一步优化，所述实时分析处理模块，基于Storm框架技术从数据加载模块中获取加载的数据，转换成Storm中的Topology对象，Storm中的调度中心Nimbus接收Topology对象，并将Topology对象分配到不同Supervisor的不同Worker并行执行任务。

作为上述方案的进一步优化，所述关联规则建立模块，具体为：

6.1、对于原始数据库D和新增数据库d中的日志数据经过预处理后，按照日志事件发生时间排列，并通过预设时间间隔的滑动时间窗口，将所有日志事件划分成多项；

6.2、对于原始数据库和新增数据库中的每一项遍历，过滤掉出现次数小于预设值的项，得到原始数据库的所有频繁项组成的频繁项集F_D和新增数据库中的所有频繁项组成的频繁项集F_d；