[发明专利]一种实现PostgreSQL增量数据同步的方法及系统

说明书

本发明提供一种实现PostgreSQL增量数据同步的方法及系统，属于数据同步技术领域，本发明通过解析生产库产生的WAL的日志，将其解析为与操作相对应的SQL，可以通过表名或者用户名进行过滤，获取增量数据借助CMSP传输数据的实时高效性发送到目的端，转换为目的端数据库的操作SQL,并用来实现PostgreSQL与其它常用类型数据库，增量数据同步的功能。

技术领域

本发明涉及数据同步技术，尤其涉及一种基于WAL日志实现PostgreSQL增量数据同步的方法及系统。

背景技术

PostgreSQL是对象-关系数据库管理系统(ORDBMS)，它不仅支持关系数据库的各种功能，而且还具备类、继承等对象数据库的特征，同时提供用户自定义插件的编写及安装，它是目前功能最强大、特性最丰富和结构最复杂的开源数据库，其中有些特性设置连商业数据库都不具备。随着PostgreSQL功能越来越强大，用户越来越多，PostgreSQL成为我们需要重点关注的数据库之一。

WAL机制最初是在7.1版中实现的，用来减轻因服务器崩溃，数据难以恢复带来的影响，该机制对于数据库故障恢复异常重要，同时也使得通过解析wal日志获取PostgreSQL操作记录成为可能，WAL段默认是一个16MB的文件，其内部划分为8192个字节的页面，第一页是由结构体XLogLongPageHeaderData定义的头数据，而所有其他页的标题具有由结构体XLogPageHeaderData定义的页面信息。在页头之后，XLOG记录从头开始按降序写入每个页面。

在存储的WAL日志中，每个XLOG record即为操作PostgreSQL的每一条记录，在WAL日志中按顺序存储，并且每个XLOG record中包含该条操作记录的LSN,在数据库异常恢复时，只需要找到上一次checkpoint点对应LSN所在的WAL日志文件，依次解析，就可以完成数据库的异常状态恢复，对于增量数据同步也是如此，通过获取增量数据开始时的时间或LSN，依次解析WAL日志文件，即可获取PostgreSQL的增量数据，完成到其它数据库的增量数据同步，所以WAL是非常重要的闪回日志。

伴随着PostgreSQL数据库7.1版本之后的WAL(Write Ahead Log)日志的出现，为PostgreSQL数据库的故障恢复，增量数据同步等技术实现提供了可能，WAL是一种预写式事务日志，数据库的更改和操作的历史记录，在实际写入数据库之前，都会以XLOG RECORD的形式保存在WAL日志中。

当前PostgreSQL与其它类型的数据库实现数据同步，全量，增量采集的实现方式本来就不多，PostgreSQL并没有提供一款日志解析工具，用来分析并生成对应的redo,undoSQL。

发明内容

为了解决以上技术问题，本发明提供了一种基于WAL日志实现PostgreSQL增量数据同步的实现方法。

本发明通过WAL日志解析工具，提供对外访问解析日志的接口，外部使用者就像调用PostgreSQL本身的SQL一样使用该功能，就可以实现WAL日志解析，完成源端数据库增量数据采集，借助CMSP传输，到达目的端，通过转换、入库模块实现增量数据源端与目的端数据同步的目的。

本发明的技术方案是：

一种实现PostgreSQL增量数据同步的实现方法，通过解析生产库产生的WAL的日志，将其解析为与操作相对应的SQL，可以通过表名或者用户名进行过滤，获取增量数据借助CMSP传输数据的实时高效性发送到目的端，转换为目的端数据库的操作SQL,并用来实现PostgreSQL与其它常用类型数据库，增量数据同步的功能。

步骤如下：

1)通过WAL日志解析，实现PostgreSQL数据库增量数据采集；

2)通过设置被采集的表名或者用户名对需要采集的增量数据进行过滤；