[发明专利]一种基于国网营销采集系统的数据同步链路方法及系统

说明书

一种基于国网营销采集系统的数据同步链路方法及系统，采用OGG+datahub的方式将省级电网侧营销采集业务需要的数据同步至省侧数据中台；将数据加工并通过DI同步的方式上传到北京的数据中台；每天定时将ADB库中时间作为今天的数据同步至网上国网kafka；数据传输至kafka后由数据接收转发模块获取并打包数据传输至总部上海侧服务器；总部上海侧接收到省侧的文件之后，将文件传输至数据库对应的服务器上；将文件采用Load和SG‑UEP的方式入库；入库完成后在Hive库里进行数据计算和建模；完成建模之后将结果数据同步至Oracle查询库以及北京的Oracle供后端调用展示。本发明有效解决大批量增量数据的同步，为数据的可靠传输提供了保障。

技术领域

本发明属于电力系统用户侧技术领域，更具体地，涉及一种网上国网营销采集系统的数据同步链路方法及系统。

背景技术

国网营销采集系统为基础系统主要目的是存储用户的用电信息和账单信息，如图1所示，普通低压居民用户每天的用电量、企业用户每天的用电量、企业级高压用户的用电负荷、企业级高压用户的用电负荷趋势、居民及企业用户每个月的用电账单信息、居民及企业用户阶梯电量账单信息、居民及企业用户计量点账单信息、企业级高压用户趋势信息等，通过每个用户或企业的电表信息以及省侧线下营业厅办理的业务数据，对采集的数据通过用电类别进行归类和区分录入省级电网侧营销采集系统,省级电网侧营销采集系统需要将源数据同步至总部进行汇总和计算展示，目前网上国网总部运行方式为北京、上海双轨运行，待所有省环境都切换至北京环境以后，总部上海环境将成为备用环境。

总部的新型大数据平台中，使用Hive数据库工具和Gbase数据库就显得尤为重要。Hive服务可以提供海量数据仓库的解决方案以及针对大数据的分析建模，Hive处理的数据都存储在HDFS上可以实现存储大批量的数据,采用分布式计算的模式可以大大提高数据的计算能力，Gbase数据库也可以作为数据仓库，Gbase数据库具有联邦架构，大规模并行计算，海量数据压缩、高效存储结构、智能索引、虚拟集群及镜像、灵活的数据分布、完善的资源管理、在线快速扩展、在线节点替换、高并发、高可用性、高安全性、易维护、高效加载等优点。

从当前一般企业情况来看每天涉及的数据量都是上亿级别的，而这种大体量的数据每日都是需要进行数据同步，传输到目标端数据库进行备份存储和相关指标计算。比较常见的传输方式分两种，一种是全量抽取同步，还有一种是将数据按照一定的逻辑进行拆分然后多次进行同步直至同步完成，面对全量抽取同步时如果数据量较小那么效率会比较高，但是面对大体量的数据时候，同步效率就会大打折扣甚至出现无法同步的情况，如果是拆分同步的话，涉及的时间较长会影响整体的业务数据流转。

在国网体系中最为重要的就是用户的电量和账单的数据查询，全国用户的用电信息和账单信息每日增量均在十几亿左右，面对这种体量的数据如果采取传统的数据传输方式会影响整体数据的同步效率，同步缺失或者不及时会影响用户查询的状态。

在当前环境下数据同步过程中可能会出现数据文件丢失，没有监控看同步状态无法及时定位异常情况，数据链路不连续以及数据同步效率低等问题，解决这些问题已经成了信息化数据传输最为重要的一环。

发明内容

为解决现有技术中存在的不足，本发明提供了一种基于网上国网营销采集系统的数据同步链路方法及系统，该数据同步链路方法能够有效解决大批量增量数据的同步，并且能够做到实时监控和备份，对运维人员处理异常的情况起到了至关重要的作用。

本发明采用如下的技术方案。

一种基于网上国网营销采集系统的数据同步链路方法，所述方法包括步骤：

步骤1，在省级电网侧确认需要同步的数据信息；

步骤2，采用OGG+datahub的方式将省级电网侧营销采集系统中的上一天源数据同步至省级电网侧数据中台中的贴源层增量表当日分区内；