[发明专利]融合实时计算与离线计算的铁道配电网海量信息处理方法

说明书

本发明公开了融合实时计算与离线计算的铁道配电网海量信息处理方法，其步骤包括铁道配电网海量监测数据接入、监测数据实时处理、离线数据分析和处理结果分布式存储，铁道配电网海量监测数据接入时，在Linux操作系统的计算机集群中安装用于连接铁道配电网监测信息源的分布式发布订阅消息系统，将海量监测数据快速高效地接入分布式集群中。本发明在执行海量监测数据处理任务的时候，可根据实际处理需求选择性地对数据进行单独实时处理、单独离线数据分析或同时进行实时计算与离线计算，能满足不同场合的处理需求，提升铁道配电网监控系统的灵活性和处理效率。

技术领域

本发明涉及配电网监控技术领域，具体是融合实时计算与离线计算的铁道配电网海量信息处理方法。

背景技术

铁道运输是我国物质周转、人员流动乃至国民经济的大动脉，近年来为适应提速、重载运输和经济建设需要，电气化铁道发展非常迅速，提速铁路的牵引供电监控增加了大量AT所，拟将上网隔离开关全面纳入监控，同时铁路电力监控也将通信、信号、光纤直放站箱变、环网柜纳入监控，既将所有高、低压回路纳入铁路配电网监控中，监控线路不再为针对单一铁路线路的监控，而是多条线路统一调度监控。因此，监测信息量较传统普速铁路监测信息量呈几何级数剧增。面对这种大数据处理需求，传统监测信息处理方式越来越不能适应铁道配电网监控的需要。

以Hadoop为代表的批处理框架经过十余年的发展已经趋近成熟，凭借其高可靠性、高扩展性和高容错性等优点，批处理计算模式在智能电网监测领域已经得到了初步的应用。然而，批处理框架适用于大规模的离线数据处理，受限于自身计算模型，其数据处理的实时性和吞吐率越来越难以满足当今铁道配电网调度监控系统需求。

Spark计算框架被称为下一代大数据处理引擎，在极短的时间里崭露头角，并以燎原之势席卷业界。Spark对曾经引爆大数据产业革命的Hadoop计算平台的改进主要体现在以下几个方面：Spark处理速度更快，吞吐量更大，能胜任铁道配电网监测数据流处理任务；Spark丰富的扩展接口带来了更强大的易用性，Spark不单单支持传统批处理应用，更支持交互式查询、流式计算、机器学习、图计算等多种应用，满足配电自动化的业务扩展需求和智能化要求；最后，微批处理的弹性分布式数据集保证了微批框架中的数据一致性，为铁道配电网监测信息流提供了极强的容错保障。

随着电网规模和容量的不断扩大，设备采集点和采样频率急剧增多，其数据量呈几何级数增长，传统的监控信息处理方法已经不能满足这种海量数据存取的实时处理需求，为此提出了一种将铁道配电网海量实时监测信息通过分布式发布订阅消息系统传输给Spark计算框架，经Spark对监测信息进行实时计算与离线计算融合处理后，计算结果转存至分布式文件系统和分布式数据库的快速并行处理新方法。

发明内容

本发明的目的在于提供能够提升铁道配电网监控系统的灵活性和处理效率的融合实时计算与离线计算的铁道配电网海量信息处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

融合实时计算与离线计算的铁道配电网海量信息处理方法，具体步骤如下：

（1）铁道配电网海量监测数据接入：

在Linux操作系统的计算机集群中安装用于连接铁道配电网监测信息源的分布式发布订阅消息系统，将海量监测数据快速高效地接入分布式集群中；

（2）监测数据实时处理：