[发明专利]基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法

说明书

本发明属于电力系统数据库技术领域，公开了一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。本发明开启PostgresSQL数据库的逻辑复制功能，并保证最大日志发送进程数大于设定的次数，修改数据库用户设置使得能直接使用流复制协议，采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。

技术领域

本发明属于电力系统数据库技术领域，具体是涉及一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。

背景技术

随着国际电网公司的“国网资源计划信息系统”（SG-ERP）工程的建设，国家电网公司在三集五大、两中心、信息平台、综合分析决策等方面都建设了相关的应用系统，信息系统架构更加复杂。为了保证不同业务系统之间的数据一致性，必须解决业务系统间的数据交换的问题，而通过业务系统数据库之间的实时同步便是解决该问题的可行途径之一。

但是数据库同步复制软件种类繁多，由于电网数据规模大、数据量庞杂、数据存储分散等特点，而且绝大多数产品主要是大数据库厂商针对自己公司的数据库产品开发出来的，不一定适用于其它数据库管理系统。

PostgreSQL是以加州大学伯克利分校计算机系开发的对象关系型数据库管理系统（可简称为PG数据库），Hadoop平台是一个由Apache基金会所开发的分布式系统基础架构，目前两者在电网业务系统中也到了广泛运用。以PG数据库同步复制为例，PG数据库的主从流复制就是从服务器通过TCP流从主服务器中同步相应的数据。这就要求源端、目标端的数据库必须是PG数据库才能使用该主从配置方案，这给业务系统之间的数据交换带来了难题。特别是要把PG数据库的数据同步复制到Hadoop平台中，存在很大困难。

发明内容

本发明目的是：针对现有技术的不足，提供一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。该方法通过日志解析技术，高效地进行从PostgresSQL数据库到Hadoop平台的数据同步复制，达到异构数据库备份的目的，能够满足业务系统复杂的数据交换需求的问题。

具体地说，本发明是采用以下技术方案实现的，包括以下步骤：

1）开启PostgresSQL数据库的逻辑复制功能，并保证最大日志发送进程数大于设定的次数，修改数据库用户设置使得能直接使用流复制协议；

2）采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤，并按照事务完整性发送完整的数据；

3）采用消息接收模块根据配置的接收信息，接收来自日志解析模块的数据，并按照本地规则写入到本地用于数据加载的缓存数据文件中；

4）采用SQL适配模块读取缓存数据文件，并根据Hadoop平台的类型，转换成通用标准SQL数据语句格式，将数据加载进入Hadoop平台。

进一步而言，所述步骤1）中的设定的次数为2。

进一步而言，所述步骤2）中，日志解析模块通过对PostgresSQL数据库的逻辑日志的格式分析，按照固定的字节读取方式和解析规则，得到用户对数据库的操作指令和操作结果集，在解析过程中添加事务完整性的检查点设置，对断电及故障情况下数据库重启做到无脏数据和重复数据的读取，主动过滤重复事务以及事务不完整的数据。