[发明专利]一种基于国网营销采集系统的数据同步链路方法及系统

权利要求书

1.一种基于国网营销采集系统的数据同步链路方法，其特征在于，所述方法包括以下步骤：

步骤1，在省级电网侧确认需要同步的数据信息；

步骤2，采用OGG+datahub的方式将数据同步至省侧数据中台；

步骤3，将数据每天的全量表和增量表合并得到新的全量表，将数据加工并得到当日新的数据放置在ADS层并通过DI同步的方式上传到北京的数据中台；

步骤4，通过dataworks中的DI同步方式将省级电网侧数据中台ADS层中加工过后的增量数据同步至省级电网侧ADB数据库；

步骤5，省级电网侧每日定时将省侧对应ADB库中业务表create_time字段作为当日日期的增量数据通过省级电网侧的SG-UEP工具同步至省级电网侧kafka平台；

步骤6，省级电网侧将当日加工过后的ADB增量数据传输至kafka后由数据接收转发模块获取并打包数据传输至总部上海侧服务器；

步骤7，总部上海侧接收到省级电网侧上传的每日增量数据文件之后，总部上海侧将每日增量文件通过总部上海侧的数据接收转发模块传输至总部Hive库、Oracle库、Gbase库对应的服务器上；

步骤8，将总部上海侧的Gbase服务器中的增量文件移动至Gbase数据库数据目录并采取load的方式将数据导入到Gbase库；

步骤9，将总部上海侧Hive服务器中的增量文件移动至Hive数据库目录并采取load的方式将数据导入到Hive库中的ods层；

步骤10，将总部上海侧Oracle服务器中的增量文件移动至总部上海侧SG-UEP服务器数据目录并采取数据输入和表输出的方式将数据导入到Oracle查询库；

步骤11，数据完成Gbase、Hive、Oracle数据库同步之后，对Hive库的ods层业务数据进行清洗，按照相关的数据质量标准剔除异常数据并汇入到DWD层表中，数据清洗完成之后对DWD层的业务数据以及相关的中间表进行关联匹配；

步骤12，总部上海侧Hive数据完成计算之后可通过SG-UEP的方式将新的数据模型同步至总部上海侧Oracle查询库以及通过sftp的方式将数据传输至北京侧服务器；

步骤13，北京侧接收同步过来的数据之后通过ETL工具完成入库操作，完成上海侧北京侧两端同步；

步骤14，后端开发通过调用JDBC连接的方式访问总部Oracle查询库并在App上进行查询展示。

2.根据权利要求1所述的国网营销采集系统的数据同步链路方法，其特征在于：

步骤2中，增量表按天、小时、分钟三级分区，不设置生命周期，每半年人工删除增量数据。

3.根据权利要求1所述的国网营销采集系统的数据同步链路方法，其特征在于：

步骤6中，对kafuka中对应topic的消费数据进行采集并以500M一个文件的标准打包数据。

4.根据权利要求1所述的国网营销采集系统的数据同步链路方法，其特征在于：

步骤7中，总部服务器接收到上传的文件之后，通过sftp的模式将文件传输到不同的服务器上。

5.根据权利要求1所述的国网营销采集系统的数据同步链路方法，其特征在于：

步骤13中，北京侧接收同步过来的数据后，通过ETL中的文件输入-表输出的方式将数据导入到北京侧的Oracle数据库。

6.根据权利要求1所述的国网营销采集系统的数据同步链路方法，其特征在于：

步骤14中，数据同步至Oracle查询库后进一步对表进行分区和索引的优化。

7.一种基于国网营销采集系统的数据同步链路系统，包括省级电网侧营销采集单元、总部上海侧数据处理单元、总部北京侧数据处理单元；其特征在于：

省级电网侧营销采集单元对需要同步的数据表文件进行提炼加工并上传汇总；总部上海侧数据处理单元接收省级电网侧上传的数据并备份；总部北京侧数据处理单元完成与总部上海侧的数据同步监控。