[发明专利]一种oracle与MySQL数据库之间数据同步的优化方法及系统

说明书

本发明涉及数据库技术领域，具体为一种oracle与MySQL数据库之间数据同步的优化方法，包括以下步骤：设置任务表，用于存储源数据库和目标数据库的信息；配置需要同步的数据表，设置最大线程数M和每个线程数最大的处理记录数N；轮询任务表，当开始时间到了之后，执行数据同步；获取源数据表中的数据量；根据配置的M和N获取线程数；对每一个线程执行同步流程，更改任务表信息；有益效果为：本发明提出的ORACLE与MYSQL数据库之间数据同步的优化方法及系统实现了oracle与MySQL数据库数据频繁同步效率提升的效果；通过禁用和启用mysql的索引，提升写入效率。

技术领域

本发明涉及数据库技术领域，具体为一种oracle与MySQL数据库之间数据同步的优化方法及系统。

背景技术

随着信息技术的飞速发展，信息化建设的不断深入，使得各行各业的数据量不断增加。不同的行业会选用不同的数据库来存储数据，常见的关系型数据库主要有MySQL,Oracle,SQLServer,Accress等。

现有技术中，使用最为广泛的关系型数据库主要是MySQL和oracle。MySQL数据库是最受欢迎的开源跨平台数据库管理系统，最初由Mysql AB公司开发、发布和支持，现在他是Oracle Corporation的分支机构。MySQL是一个快速的、多线程、多用户和健壮的SQL数据库服务器。Oracle数据库是美国ORACLE公司提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器或B/S体系结构的数据库之一。Oracle数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。

但是，信息化建设的各个业务系统之间数据同步、子业务系统和核心业务系统之间数据同步的场景需求不断出现，业务量不断增多，如何快速高效的将不同数据库数据进行同步，就是我们亟需要解决的问题。

发明内容

本发明的目的在于提供一种oracle与MySQL数据库之间数据同步的优化方法及系统，以解决上述背景技术中提出的问题，将oracle源数据库中的数据导出至csv文件，然后将csv文件内容导入到mysql目标数据库中。

为实现上述目的，本发明提供如下技术方案：一种ORACLE与MYSQL数据库之间数据同步的优化方法，所述oracle与MySQL数据库之间数据同步的优化方法包括以下步骤：

设置任务表，用于存储源数据库和目标数据库的信息；

配置需要同步的数据表，设置最大线程数M和每个线程数最大的处理记录数N；

轮询任务表，当开始时间到了之后，执行数据同步；

获取源数据表中的数据量；

根据配置的M和N获取线程数；

对每一个线程执行同步流程，更改任务表信息。

优选的，设置任务表时，

任务表包含源和目的数据库信息，包括数据库类型、数据库连接登录信息、数据表信息、数据同步时间、同步结束时间和同步结果，主要是存储需要同步数据的数据库信息，包括源数据库oracle和数据表，目的数据库mysql和数据表，同步时间，结束时间等信息。

优选的，轮询任务表时，

当触发表的开始同步时间后，转至下一步，进行数据同步准备，当同步时间未到时，不做任何处理，继续轮询任务表，直至到达设定的同步时间。

优选的，计算需要的线程数时，

当数据量X小于最大处理数N时，自动分配一个线程处理；