[发明专利]基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法

摘要

本发明公开了基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，包括在Linux操作系统的计算机中搭建Kafka消息中间件，通过消息中间件Kafka实现与现有配电监控系统的集成，并利用其发布/订阅消息传递模式将监控系统采集的大量实时监测数据传输给Storm集群。本发明中大量监控数据经Storm集群节点快速并行处理后可直接转存至HBase数据库中分布式存储，实现以分布式计算机集群进行铁道配电网海量监控数据的处理方法。本发明方法采用Kafka和Storm相结合的云计算技术处理数据，实现铁道配电网海量实时监测数据的毫秒级处理延迟和分布式存储及查询，提高了调度监控大数据的整体处理效率。

主权项

基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，其特征在于，具体步骤如下：（1）调度监控海量监测数据的收集与传输：通过接口实现，由Kafka消息中间件采用异步发送方式获取铁道配电网监控系统的实时监测数据，将采集到的不同主题实时监测数据首先缓存于Kafka的消息服务器中，然后再由Storm的多个喷嘴组件作为消息消费者以订阅方式从消息服务器中主动拉取不同主题的信息，由Storm集群进行监控数据的流计算处理，以达到海量监测数据实时传输及快速处理的目的；（2）配电网海量监测数据的拓扑流计算集群处理：在Linux操作系统的计算机中搭建适用于调度监控大量实时数据处理的Storm集群，实现从Kafka中传输来的实时监测数据的流处理；使用Storm集群将订阅到的大量实时监测数据转换为连续的元组流作为拓扑流处理对象，分发至集群各工作节点，由其在内存中执行主控节点分配的拓扑任务；拓扑流计算编程实现过程中，通过配置对象和拓扑构造器，配置拓扑实例的执行工作进程数、喷嘴和螺栓组件数和组件并发数等并行度参数，充分发挥流计算编程模型的高并发处理能力；测试中，取站所中低压侧三相电压、三相电流的模拟量遥测信息作为流计算处理对象，阐述拓扑实例的结构和组件功能，其中数据源喷嘴的功能是从监测数据队列读取低压侧三相电压/电流值，求平均值螺栓负责读取订阅的电压/电流元组字段，并连续计算当前某时刻电压/电流的平均值；越限输出螺栓负责持续跟踪所订阅元组流中电压/电流值超越上下限的监测数据元组，通过实时更新螺栓组件内计数器，统计输出越限元组的出现次数；打印螺栓负责监测数据元组记录或螺栓处理结果的实时显示，而存储螺栓将对各个螺栓组件的计算结果进行汇总存储，完成拓扑设计后，拓扑实例的编程代码包最后还需要以拓扑任务的方式提交给Storm集群，而Storm集群监控数据流计算处理结果则分布式存储于HBase数据库中；（3）海量监测数据分布式列存储：在HBase中建立面向列族的具有无限扩张功能的数据存储表，用来存储经Storm集群流计算处理后的调度监控海量监测数据；在表的精简结构形式中，设计行键为StationId属性，在再设计三个列族，其中第一个列族为DeviceName属性，另外两个列族则分别定义各站所中低压侧三相电压U属性和三相电流I属性，其列族下还对应包含了表示三相电压值、三相电流值的列，其中StationId为铁道变电站所号，DeviceName为设备名称，电压和电流列族下的属性值为设备采集的三相电压、电流实时值或流计算结果值；通过将监控数据经Storm集群处理后转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现对铁道配电网监控大数据的分布式列族存储和实时查询。