[发明专利]一种配电网规划基础数据集成方法

摘要

本发明涉及一种配电网规划基础数据集成方法，步骤为：数据抽取，提取集成系统数据，将PMS、GIS、调度等业务系统数从源端经过ETL过程至前置机，转换为结构化的关系数据，统一存储和管理；数据校验，提取转换后的数据，应用校验规则到数据上，检查数据的完整性、正确性和逻辑性；数据融合，将通过校验的数据，应用融合规则到数据上，建立异构数据间的逻辑关系；数据化简，将数据间的逻辑关系作为依据，提取异构系统的数据，应用到化简规则上，按照化简规则简化数据的内容和连接关系，输出满足规划需要的数据。本发明提供一种适合各层级配电网特点和需求、对配电网规划具有针对性、适应性和可操作性的利用“Spark+EDA”的数据集成方法，可广泛应用于异数据集成中。

主权项

1.一种配电网规划基础数据集成方法，其特征在于，该方法包括以下步骤：(1)数据抽取：建立适应各系统架构特点的数据传输方式和通道，并将获取的数据转换为满足集成规范的结构化数据；(2)数据校验：按照配电网数据集成规范，将数据提取后转换成格式统一的结构化数据，进行数据校验；将转换后的数据和预定义的校验规则内存化，然后交由基于Disruptor和EDA为核心的校验引擎检查数据的正确性、完整性和逻辑性；采用以“并行计算+事件驱动架构EDA+内存数据库TimesTen”为核心的架构，以完整性校验阶段为例：(2.1)通过TimesTen内存数据库，将需要校验的数据内存化，同时将完整性校验规则载入内存中；(2.2)开启Disruptor的并行计算模式，从内存中直接提取校验规则和待校验数据，交由EDA校验引擎处理；(2.3)EDA校验引擎将数据应用到规则上，满足规则的数据进入下一阶段校验，校验失败的数据，生成校验日志，记录相关的校验信息；(3)数据融合：根据配电网规划基础数据特点，建立融合关系清单；融合准则为：配电设备信息以PMS系统中设备属性数据为基准，将GIS系统、用采系统、调度系统数据进行对应融合；用户设备信息以营销系统中属性数据为基准，将GIS系统、用采系统数据进行对应融合；(4)数据化简：数据化简过程分为属性合并和拓扑合并两个子过程，两个子过程不分先后、同时进行；在完整的数据化简过程中，应用基于内存的大数据框架Spark，将化简后的结果RDD保存在内存中，同时应用不同的化简规则，进行反复迭代。