[发明专利]基于数据包的远程数据增量同步方法

摘要

本发明涉及基于数据包的远程数据增量同步方法，包括步骤获取源数据库的DML；将DML导出为数据包；将数据包远程同步到目标数据库；将数据包解析成SQL语句和变更数据；将SQL语句和变更数据更新到目标数据库。本发明可以定时将数据库中发生增、删、改的记录提取出来形成包含增量记录的数据包，然后根据网络状况和数据同步需求，将数据包以JMS或FTP的方式，利用消息中间件或FTP客户端/服务器端产品，并在一定的配置管理支持下，将数据包传输给目标数据库系统，从而保持远、近端数据库数据的一致性。

主权项

一种基于数据包的远程数据增量同步方法，其特征在于，包括以下步骤：S1、获取源数据库的DML；获取源数据库的DML的步骤具体包括以下几个子步骤：S11)获取所需监听的表，并创建变更表；具体为：通过读取数据库字典以获取目标表的结构，然后创建与目标表相对应的变更表；S12)创建日志表，用于记录DML；具体为：在源数据库中创建名为MY_CDC_LOG_TABLE的日志表，用于临时记录增量DML；S13)监听源数据库的日志记录，得到数据更新操作；具体为：根据用户设置的监听周期，启动监听线程，对于ORACLE数据库，监听线程使用LOGMNR包相关函数，监听ORACLE的日志记录，得到数据变更操作；对于SQL SERVER，监听线程使用相关数据字典监听日志记录，得到数据变更操作；S14)将数据更新操作还原为完整的SQL语句和变更数据；具体为：监听线程通过分析日志和相关数据字典，将数据变更操作还原为完整的SQL语句和变更数据；S15)将变更数据写入变更表，将SQL语句写入日志表，且将变更数据写入变更表，将SQL语句写入日志表时，监听线程按照一定周期将获取到的变更数据写入变更表，将SQL语句写入MY_CDC_LOG_TABLE日志表；S2、将所述DML导出为数据包；该数据包包括XML文件和CSV文件，其中XML文件记录所有数据更新操作的SQL语句，CSV记录所有增加和修改的变更数据；S3、将所述数据包远程同步到目标数据库；具体为：根据网络状况和同步紧急度需求，选择采用FTP的方式进行远程同步；对于FTP方式，在目标数据库中建立数据包目录，部署FTP客户端程序和FTP服务器端程序，FTP客户端按照一定的时间周期，执行数据扫描，若发现数据包目录中存在新的数据包文件，先将新的数据包文件的文件信息记载到源数据库中，然后通过FTP协议，访问远程FTP服务器端，将数据包文件上传至FTP服务器端，并等待FTP服务器端回复信息，FTP服务器端收到所述数据包文件后，将数据包文件保存并将所述文件信息记载到目标数据库中，然后通过FTP命令的方式向FTP客户端反馈回执，即发送确认信息；S4、将所述数据包解析成SQL语句和变更数据；S5、将所述SQL语句和变更数据更新到目标数据库。