[发明专利]一种基于sqlldr2和ogg数据同步的实现方法

权利要求书

1.一种基于sqlldr2和ogg数据同步的实现方法，其特征在于，所述实现方法包括Oracle数据库、sqlldr2客户端、ogg同步工具、HDFS分布式文件系统；

所述sqlldr2客户端用于对Oracle数据库数据的导出，将数据以txt形式导出，传输至HDFS分布式文件系统内；

所述ogg同步工具用于对Oracle数据库日志文档的同步导出，Oracle数据库中redolog将修改的日志文档从磁盘中加载至内存当中后，archive log模式对修改后的日志文档归档备份，当数据导出时，ogg同步工具源端实时读取redo log并解析成sql语句以二进制文件的方式传输到目标端，目标端ogg同步工具进程读取文件并导入到HDFS分布式文件系统内。

2.根据权利要求1所述的一种基于sqlldr2和ogg数据同步的实现方法，其特征在于，所述redo log由两部分组成，一个是内存中的日志缓存redo log buffer，一个是磁盘中的日志文件redo log file，当每次对日志文档数据记录进行修改时，将修改内容先写入redolog buffer中，后续等待合适时机将内存中的修改刷回到redo log file，其整体流程如下：若数据已在内存中则直接进行修改，否则先将数据从磁盘加载到内存中，修改完成之后，生成一条redolog，将这条redo log写redo log buffer中，记录的是修改之后的值，根据选定的策略，将redo log file中的内容刷回到redo log buffer中。

3.根据权利要求1所述的一种基于sqlldr2和ogg数据同步的实现方法，其特征在于，所述archivelog模式运行时，所有的事务重做日志都将保存，在重做日志文件复制完成之前，Oracle数据库将停止一切新的操作，在旧的事务记录完成之前Oracle数据库不对其进行覆盖。

4.根据权利要求1所述的一种基于sqlldr2和ogg数据同步的实现方法，其特征在于，所述ogg同步工具在源端与目标端的命令使用start的形式启动所有进程，启动顺序按照源mgr--目标mgr--源extract--源pump--目标replicate来完成；

所述ogg同步工具源端配置包括：

a.配置ogg的全局变量；

b.配置管理器mgr；

c.添加复制表；

d.配置extract进程；

e.配置pump进程；

f.配置define文件；

将生成的ogg-test文件发送至目标端define文件的里；

所述ogg同步工具目标端配置包括：

a.开启HDFS分布式文件系统服务；

b.配置管理器mgr；

c.配置checkpoint；

d.配置HDFS.props；

e.添加trail文件到replicate进程。

5.根据权利要求1所述的一种基于sqlldr2和ogg数据同步的实现方法，其特征在于，所述sqlldr2客户端采用Hadoop分布式计算平台将Oracle数据库中的数据传输至HDFS分布式文件系统内，其具体流程为：sqlldr2客户端将Oracle数据库中的数据导出并转化为txt格式，将txt格式数据任务传输至Hadoop分布式计算平台内，Hadoop分布式计算平台中的MapReduce功能将单个任务数据打碎，并将碎片任务发送至多个节点上，之后再以单个数据集的形式加载至HDFS分布式文件系统里。