[发明专利]融合实时计算与离线计算的铁道配电网海量信息处理方法

权利要求书

1.融合实时计算与离线计算的铁道配电网海量信息处理方法，其特征在于，具体步骤如下：

（1）铁道配电网海量监测数据接入：

在Linux操作系统的计算机集群中安装用于连接铁道配电网监测信息源的分布式发布订阅消息系统，将海量监测数据快速高效地接入分布式集群中；

（2）监测数据实时处理：

在集群中搭建Hadoop计算平台和分布式数据库，Hadoop计算平台下的分布式文件系统用于转存中间计算结果，分布式数据库用于计算结果的可靠存储；安装配置Spark计算框架，该框架中包含用于流计算实时处理的实时流计算模块和用于离线数据分析的离线微批处理模块；在实时流计算模块中配置连接分布式发布订阅消息系统的数据接口，铁道配电网监测数据经分布式发布订阅消息系统传输到实时流计算模块中进行实时处理后，计算结果可以转存到分布式文件系统中，方便后续计算使用，或者直接存储至分布式数据库中；

（3）离线数据分析：

在Hadoop计算平台配置连接分布式发布订阅消息系统的数据接口，先由分布式发布订阅消息系统将监测数据传输至分布式文件系统中进行中间存储，再由离线微批处理模块对中间存储数据进行提取，在完成离线数据分析后，计算结果可以继续保存在分布式文件系统中用于后续计算调用，或存储到分布式数据库中；

（4）处理结果分布式存储：

配置已搭建的分布式数据库，在分布式数据库中建立面向列族的可无限扩张的数据存储表，用于分别存储经实时处理和离线数据分析后的铁道配电网调度监控海量监测数据，在表的精简结构形式中，设计行键为设备号属性，再设计三个列族，分别为设备名属性、电流属性与电压属性，其中第一个列族为设备名称，另外两个列族分别为设备采集到的三相电流和电压实时值，若要应对铁道配电网调度监控的更大规模数据存储，分布式数据库逻辑表可根据实际需求动态增加对应设备的监测项属性的列族及列的数量；通过把计算结果传输至分布式数据库中，调用多台数据库服务器进行数据保存，实现利用云计算技术进行铁道配电监控系统大数据的分布式列族可靠存储。

2.根据权利要求1所述的融合实时计算与离线计算的铁道配电网海量信息处理方法，其特征在于，所述步骤（2）中铁道配电网监测数据流经分布式发布订阅消息系统传输到实时流计算模块，根据已设置的处理间隔，实时流计算模块将输入的监测数据分成一段一段的离散数据队列，然后每一段离散数据都被转换成Spark计算框架中的弹性分布式数据集。