[发明专利]一种配电网规划基础数据集成方法

权利要求书

1.一种配电网规划基础数据集成方法，其特征在于，该方法包括以下步骤：

(1)数据抽取：建立适应各系统架构特点的数据传输方式和通道，并将获取的数据转换为满足集成规范的结构化数据；

(2)数据校验：按照配电网数据集成规范，将数据提取后转换成格式统一的结构化数据，进行数据校验；将转换后的数据和预定义的校验规则内存化，然后交由基于Disruptor和EDA为核心的校验引擎检查数据的正确性、完整性和逻辑性；

采用以“并行计算+事件驱动架构EDA+内存数据库TimesTen”为核心的架构，以完整性校验阶段为例：

(2.1)通过TimesTen内存数据库，将需要校验的数据内存化，同时将完整性校验规则载入内存中；

(2.2)开启Disruptor的并行计算模式，从内存中直接提取校验规则和待校验数据，交由EDA校验引擎处理；

(2.3)EDA校验引擎将数据应用到规则上，满足规则的数据进入下一阶段校验，校验失败的数据，生成校验日志，记录相关的校验信息；

(3)数据融合：根据配电网规划基础数据特点，建立融合关系清单；融合准则为：配电设备信息以PMS系统中设备属性数据为基准，将GIS系统、用采系统、调度系统数据进行对应融合；用户设备信息以营销系统中属性数据为基准，将GIS系统、用采系统数据进行对应融合；

(4)数据化简：数据化简过程分为属性合并和拓扑合并两个子过程，两个子过程不分先后、同时进行；在完整的数据化简过程中，应用基于内存的大数据框架Spark，将化简后的结果RDD保存在内存中，同时应用不同的化简规则，进行反复迭代。

2.如权利要求1所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1)中，采用“Web服务”、“数据中心+企业服务总线”、“FTP+E文件”三种数据交互通道，并结合配电网规划基础数据来源业务系统的特点，选取不同数据交互方式和通道：

(1.1)GIS系统提供外部WEB服务，供各集成系统调用；

(1.2)用采系统、营销系统、PMS系统已与数据中心进行数据共享，其他系统需要集成数据时，通过企业服务总线发布数据抽取需求，由数据中心对外提供数据，其集成均采用数据中心+企业服务总线方式；

(1.3)调度系统采用FTP+E文件方式到指定FTP服务器获取。

3.如权利要求2所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1.1)中，首先由前置机数据接口调用GIS平台Web服务，发送数据抽取请求；GIS系统收到请求后向Web服务发送传输指令；最后由Web服务调取GIS数据传输给前置机。

4.如权利要求2所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1.2)中，首先由前置机数据接口服务通过企业服务总线，向数据中心发送数据抽取请求，数据中心向各系统发送数据抽取指令，各系统收到指令后向数据中心反馈数据，最后由数据中心通过企业服务总线将数据传输给前置机。

5.如权利要求2所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1.3)中，由前置机数据接口服务定时到E文件服务器查看E文件准备记录，若有更新的E文件则直接抓取，到前置机后进行解密存储。

6.如权利要求1所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(3)中，按照数据关联成熟度和处理效率高低的不同，将数据融合从高到低，划分为三阶段实现：

(3.1)设备编码匹配：如设备编码一致，则将两条数据按照融合规则合并为一条数据；

(3.2)字段组合匹配：针对设备编码未匹配上的数据，采用字段组合匹配；两个系统数据中设备名称、电压等级多个相同字段，关键字相同或相似的两条数据合并为一条数据；

(3.3)人工识别匹配：针对上述两个阶段都不能匹配的数据，分别人工查询两个系统对应信息，人工判断是否为同一数据；若是，将两条数据合并为一条。