[发明专利]一种基于文件的数据库同步方法

说明书

技术领域

本发明属于数据库同步技术领域，特别涉及一种基于文件的数据库同步方法。

背景技术

在生产环境中，进行操作系统升级或变更、数据库升级、存储设备升级，能够大幅度地提高数据迁移和同步的复杂程度。在数据迁移过程中，往往需要对现有业务进行中断，这样的中断会降低服务质量和客户满意度，对企业造成巨大的损失，由此可见数据库的同步技术具有十分重要的意义。

目前，现有数据库的数据同步解决方案主要包括存储复制技术、数据库复制技术和ETL抽取技术三大类。1、存储复制技术是利用存储阵列自身的盘阵对盘阵的数据块复制来实现对生产数据的远程拷贝，从而实现生产数据的灾难保护。采用基于存储复制技术的必要前提是必须采用同一厂家的存储平台，复制中心的主机平台和生产中心相同，在复制过程中目标端数据不可用，这种复制只能是全库复制。2、数据库复制技术是通过数据库的日志来获取数据进行同步，代表性产品包括DSG Realsync、Quest SharePlex和Oracle DataGuard等，它们的工作原理都与Oracle的日志相关，通过对Oracle日志分析获取跟踪源系统的交易指令，然后将交易指令传送到目标端进行重新执行来实现数据复制。数据库复制技术支持异构系统复制，复制时能指定用户、表、行和列，应用的灵活性比较高，在复制的过程中目标端处于可用状态，能用作数据查询、报表和数据抽取等任务。3、ETL抽取技术及数据抽取(Extract)、转换(Transform)、装载(Load)的过程，它是构建数据仓库的重要环节，ETL工具实质上是一种数据转换器，提供一种从源到目标系统转换数据的方法，从表面上看与数据复制或同步软件有些类似，但ETL的定位和重点与数据同步技术具有不同，ETL工具会涉及到大量的业务逻辑，需要进行字段映射、多字段的混合运算、复杂条件过滤等操作，此外ETL工具需要通过SQL接口来获取数据，抽取数据的性能比较低，基本上不能满足数据库的实时同步的性能需求。

综上所述，现有的数据库的数据同步方法均存在不支持异构数据库同步、同步过程中对源端数据库性能有影响、数据库同步效率不高的缺点。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于文件的数据库同步方法，其采用文件方式快速地从源端数据库向目标端数据库同步，解决了不支持异构数据库同步、同步过程中对源端数据库性能有影响以及数据库同步效率不高的问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于文件的数据库同步方法，采用在源端数据库安装数据同步工具组件，并且在目标端数据库安装ETL服务组件，ETL服务组件与数据同步工具组件之间通过协议控制并以文件方式从源端数据库向目标端数据库进行同步。

而且，所述从源端数据库向目标端数据库进行同步的方法包括指定表的全量同步处理方法以及其后的指定表的增量同步处理方法。

而且，所述的指定表的全量同步处理方法包括以下步骤：

步骤1：ETL服务组件向数据同步工具组件发送全量同步控制命令，进入指定表的全量同步模式；

步骤2：数据同步工具组件在源端数据库上将指定表的数据批量导出生成增量日志文件并存入到FTP服务器上；

步骤3：ETL服务组件在指定表的全量同步处理结束后，向数据同步工具组件发送停止全量同步的控制命令，ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将其中的批量数据导入到目标端数据库里。

而且，所述指定表的增量同步处理方法包括以下步骤：

步骤1：ETL服务组件向数据同步工具组件发送增量同步控制命令，进入指定表的增量同步模式；

步骤2：数据同步工具组件从源端数据库中分析出同步过程中对源端数据库发生的修改记录，将这些修改写入到增量日志文件中，然后将其存入到FTP服务器中；

步骤3：ETL服务组件通过FTP客户端连接到源端数据库的FTP服务器端，获取增量日志文件并将增量日志中的数据导入到目标端数据库里，ETL服务组件解析增量日志文件，将增量数据导入到目的端数据库。

而且，在增量同步处理模式中，还包括增量数据同步的表变更处理步骤，其具体处理过程为：ETL服务组件向数据同步工具组件发送停止增量同步控制命令，停止指定表的增量同步模式，启动指定表的全量同步模式，待增量数据同步的表变更处理处理结束后，再恢复到指定表的增量同步处理任务。