[发明专利]一种基于文件的数据库同步方法

权利要求书

1.一种基于文件的数据库同步方法，其特征在于：采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。

2.根据权利要求1所述的一种基于文件的数据库同步方法，其特征在于：所述从源端数据库向目标端数据库进行同步的方法包括指定表的全量同步处理方法以及其后的指定表的增量同步处理方法。

3.根据权利要求2所述的一种基于文件的数据库同步方法，其特征在于：所述的指定表的全量同步处理方法包括以下步骤：

步骤1：ETL服务组件向数据同步工具组件发送全量同步控制命令，进入指定表的全量同步模式；

步骤2：数据同步工具组件在源端数据库上将指定表的数据批量导出生成增量日志文件并存入到FTP服务器上；

步骤3：ETL服务组件在指定表的全量同步处理结束后，向数据同步工具组件发送停止全量同步的控制命令，ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将其中的批量数据导入到目标端数据库里。

4.根据权利要求2所述的一种基于文件的数据库同步方法，其特征在于：所述指定表的增量同步处理方法包括以下步骤：

步骤1：ETL服务组件向数据同步工具组件发送增量同步控制命令，进入指定表的增量同步模式；

步骤2：数据同步工具组件从源端数据库中分析出同步过程中对源端数据库发生的修改记录，将这些修改写入到增量日志文件中，然后将其存入到FTP服务器中；

步骤3：ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将增量日志中的数据导入到目标端数据库里，ETL服务组件解析增量日志文件，将增量数据导入到目的端数据库。

5.根据权利要求4所述的一种基于文件的数据库同步方法，其特征在于：在增量同步处理模式中，还包括增量数据同步的表变更处理步骤，其具体处理过程为：ETL服务组件向数据同步工具组件发送停止增量同步控制命令，停止指定表的增量同步模式，启动指定表的全量同步模式，待增量数据同步的表变更处理处理结束后，再恢复到指定表的增量同步处理任务。

6.根据权利要求3至5任一项所述的一种基于文件的数据库同步方法，其特征在于：所述数据同步工具组件写入增量日志文件的方法包括数据同步工具组件对DML语句的处理方法和对DDL语句的处理方法，其中：

数据同步工具组件对DML语句的处理方法是：从查询表-文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果未找到文件句柄，则生成空的增量日志文件后，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DML语句写入增量日志文件；

数据同步工具组件对DDL语句的处理方法是：从查询表-文件映射表中查找DML语句所涉及查询表所对应的增量日志文件，如果找到文件句柄，对此增量日志文件生成CRC校验文件移动到FTP的增量文件数据目录里,然后，生成新的增量日志文件，加入到表和增量日志文件的查询表-文件映射表里，在查询表的模式缓存里查询表的模式定义，对于没有找到模式定义的表查询模式定义并加入缓存，根据查询表的模式定义生成文件的第一行的行头，最后将DDL语句写入增量日志文件。

7.根据权利要求3至5任一项所述的一种基于文件的数据库同步方法，其特征在于：所述的增量日志文件以CSV格式进行数据存储，第一行为行头，用于存储列名信息，每列包括如下的字段：用于保存SQL语句类型的字段、用于保存SQL语句字符串的字段、用于保存该行记录类型的字段、用于标识更新数据时原表发生变更的字段、用于保存当前操作行数据库ROWID的字段以及用于保存原始表中每一列数据的字段。