[发明专利]一种基于sqlldr2和ogg数据同步的实现方法

说明书

本发明涉及数据处理技术领域，公开了一种基于sqlldr2和ogg数据同步的实现方法，所述sqlldr2客户端用于对Oracle数据库数据的导出，将数据以txt形式导出，传输至HDFS分布式文件系统内，所述oggogg同步工具源端实时读取redo log并解析成sql语句以二进制文件的方式传输到目标端，目标端ogg同步工具进程读取文件并导入到HDFS分布式文件系统内。本发明通过使用sqlldr2工具根据不同需求格式化输出所需要数据到txt文件中以及采用ogg工具指定采集特定表及特定字段的数据，能够将Oracle数据进行同步备份存储至HDFS分布式文件系统内，解决了数据频繁导入导出、数据跨平台难以导入以及无法根据需求新增或删除需要同步的表的问题，实现了增量数据自动同步，减少了每次手动同步的工作量。

技术领域

本发明涉及数据处理技术领域，具体是一种基于sqlldr2和ogg数据同步的实现方法。

背景技术

Sqlldr2：Sqlldr2是一款可以按照特定的格式将oracle数据库里面的数据导出成txt文件的客户端工具。

Ogg：又名goldengate，是以源端和目标端两部分组成的用于数据同步工具，源端实时读取redolog并解析成sql语句以二进制文件的方式传输到目标端。

其中两者实现的功能：sqlldr2用于oracle到hadoop数据初始化，ogg用于增量数据实时同步，既保证了初始数据的完整性又保证了增量数据的时效性。

但是目前关于sqlldr2和ogg数据同步的实现方法存在着数据频繁导入导出问题、数据跨平台难以导入问题、无法根据需求新增或删除需要同步的表。因此，本领域技术人员提供了一种基于sqlldr2和ogg数据同步的实现方法，以解决上述背景技术中提出的问题。

发明内容

本发明的目的在于提供一种基于sqlldr2和ogg数据同步的实现方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于sqlldr2和ogg数据同步的实现方法，其特征在于，所述实现方法包括Oracle数据库、sqlldr2客户端、ogg同步工具、HDFS分布式文件系统；

所述sqlldr2客户端用于对Oracle数据库数据的导出，将数据以txt形式导出，传输至HDFS分布式文件系统内；

所述ogg同步工具用于对Oracle数据库日志文档的同步导出，Oracle数据库中redo log将修改的日志文档从磁盘中加载至内存当中后，archive log模式对修改后的日志文档归档备份，当数据导出时，ogg同步工具源端实时读取redo log并解析成sql语句以二进制文件的方式传输到目标端，目标端ogg同步工具进程读取文件并导入到HDFS分布式文件系统内。

作为本发明再进一步的方案：所述redo log由两部分组成，一个是内存中的日志缓存redo log buffer，一个是磁盘中的日志文件redo log file，当每次对日志文档数据记录进行修改时，将修改内容先写入redo log buffer中，后续等待合适时机将内存中的修改刷回到redo log file，其整体流程如下：若数据已在内存中则直接进行修改，否则先将数据从磁盘加载到内存中，修改完成之后，生成一条redo log，将这条redo log写redo logbuffer中，记录的是修改之后的值，根据选定的策略，将redo log file中的内容刷回到redo log buffer中。

作为本发明再进一步的方案：所述archive log模式运行时，所有的事务重做日志都将保存，在重做日志文件复制完成之前，Oracle数据库将停止一切新的操作，在旧的事务记录完成之前Oracle数据库不对其进行覆盖。