[发明专利]基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法

说明书

技术领域

本发明涉及配电网监控技术领域，具体是基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法。

背景技术

随着我国现代电气化铁路的快速发展和规模扩建，铁道配电网的调度监控现多以电网运行的全景实时数据处理为基础，由于配电系统接入多种新式智能化设备，也融入了多种信息管理系统，如配电能量管理系统、铁道供电调度监控数据中心等，更高的采样频率要求调度监控必须快速处理数据量庞大的实时监测数据。一般情况下，考虑将实时监测数据常驻留于内存数据库集中处理，来获得比传统关系数据库更高效的存取速度，但受到内存数据库和数据库服务器物理内存的容量限制，当等待处理的监测数据量持续增加，需要投入更多成本购置容量更大的服务器和更昂贵的内存数据库。由于数据量增长速率远大于存储能力的增长，使内存数据库的电力大数据存储和实时计算性能面临挑战。流计算是一种新兴的大数据处理模式，相对于以Apache Hadoop为代表的大数据批处理模式，流计算凭借分布式全内存计算优势既可以避免内存容量限制，又能够保证海量数据处理的实时性和可靠性，其拓扑流计算过程具有快速低延迟、高容错等优点。鉴于开源流计算框架Storm已在Twitter、阿里巴巴等企业实时业务场景中的成功应用，为流计算处理模式解决铁道调度监控中海量实时监测数据的快速处理提供了重要的组件平台。

NoSQL即泛指超越传统关系型数据库的非关系型数据库。在铁道配电监控方面，传统关系型数据库有着扩展困难、读写慢、容量有限等限制，相较而言NoSQL却具有高可扩展性、快速读写和成本低廉等优势，使用HBase数据库处理数据，可更方便地实现配电网海量监控信息的分布式存储与查询，且数据存储量越大，数据读取的平均速率相比传统数据存储方式越快。

随着我国铁道调度监控智能化的快速发展，监测数据量剧增使传统的监控信息处理方法已经不能满足这种海量数据存取的实时处理需求，为此提出了一种把海量的铁路配电网实时监控信息通过消息中间件Kafka传输给Storm集群，经Storm集群快速流处理后转存至HBase数据库的快速并行处理新方法。

发明内容

本发明的目的在于提供基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，具体步骤如下：

（1）调度监控海量监测数据的收集与传输：

通过接口实现，由Kafka消息中间件采用异步发送方式获取铁道配电网监控系统的实时监测数据，将采集到的不同主题实时监测数据首先缓存于Kafka的消息服务器中，然后再由Storm的多个喷嘴组件作为消息消费者以订阅方式从消息服务器中主动拉取不同主题的信息，由Storm集群进行监控数据的流计算处理，以达到海量监测数据实时传输及快速处理的目的；

（2）配电网海量监测数据的拓扑流计算集群处理：

在Linux操作系统的计算机中搭建适用于调度监控大量实时数据处理的Storm集群，实现从Kafka中传输来的实时监测数据的流处理；

使用Storm集群将订阅到的大量实时监测数据转换为连续的元组流作为拓扑流处理对象，分发至集群各工作节点，由其在内存中执行主控节点分配的拓扑任务；

拓扑流计算编程实现过程中，通过配置对象和拓扑构造器，配置拓扑实例的执行工作进程数、喷嘴和螺栓组件数和组件并发数等并行度参数，充分发挥流计算编程模型的高并发处理能力；

测试中，取站所中低压侧三相电压、三相电流的模拟量遥测信息作为流计算处理对象，阐述拓扑实例的结构和组件功能，其中数据源喷嘴的功能是从监测数据队列读取低压侧三相电压/电流值，求平均值螺栓负责读取订阅的电压/电流元组字段，并连续计算当前某时刻电压/电流的平均值；越限输出螺栓负责持续跟踪所订阅元组流中电压/电流值超越上下限的监测数据元组，通过实时更新螺栓组件内计数器，统计输出越限元组的出现次数；打印螺栓负责监测数据元组记录或螺栓处理结果的实时显示，而存储螺栓将对各个螺栓组件的计算结果进行汇总存储，完成拓扑设计后，拓扑实例的编程代码包最后还需要以拓扑任务的方式提交给Storm集群，而Storm集群监控数据流计算处理结果则分布式存储于HBase数据库中；

（3）海量监测数据分布式列存储：