[发明专利]一种数据同步方法、装置、计算机设备及存储介质

说明书

本申请适用于数据处理技术领域，提供一种数据同步方法、装置、计算机设备及存储介质，其中方法包括：向目标数据库中发送数据主键查询指令，获取所述目标数据库反馈的所述目标数据记录对应的主键信息；基于所述主键信息，生成数据查询语句，将所述数据查询语句发送至源数据库中，获取所述源数据库输出的所述目标数据，将所述目标数据写入至所述目标数据库中，减少对源数据库的数据处理性能的占用，不影响源数据库的数据查询响应速度。

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据同步方法、装置、计算机设备及存储介质。

背景技术

近年来，智能投研利用科技手段辅助金融投资研究与决策，由于可降低交易成本、提高投研效率、增强分析精准度、排除隐藏风险等多种优势迅速受到金融机构青睐，在资产管理领域发挥着越来越重要的作用，能够大幅提升金融市场海量原始数据的效用和价值。

目前智能投研应用时，需要将源数据库中存储的大量原始数据同步至下游数据库中以进行数据分析利用，目前源数据库主要采用oracle异构数据库，基于oracle异构数据库进行数据同步的方案有OGG(Oracle Golden Gate，甲骨文金门)方案。该方案主要是源数据库通过解析Oracle数据库的归档日志，将每个数据变更抽取为一个变更事件，将该变更事件写入到消息队列中，下游数据库解析每个数据变更事件，将其转换为下游数据库中数据的insert、update、delete操作，同步更新下游数据库表。

该方案优势是可以满足数据同步的实时性，但劣势是由于源数据库需要频繁的抽取数据变更事件，较多地占用源数据库的数据处理性能，降低源数据库的数据查询响应速度。

发明内容

本申请实施例提供了一种数据同步方法、装置、计算机设备及存储介质，以解决现有技术中数据库间的数据同步方法较多地占用源数据库的数据处理性能，降低源数据库的数据查询响应速度的问题。

本申请实施例的第一方面提供了一种数据同步方法，包括：

向目标数据库中发送数据主键查询指令，所述数据主键查询指令用于指示所述目标数据库查找目标数据记录对应的主键信息；

获取所述目标数据库反馈的所述目标数据记录对应的主键信息；

基于所述主键信息，生成数据查询语句，将所述数据查询语句发送至源数据库中，所述数据查询语句用于指示所述源数据库查找与所述主键信息具有存储时间关联性的目标数据，所述存储时间关联性包括存储时间位于所述主键信息对应的所述目标数据记录的存储时间之后；

获取所述源数据库输出的所述目标数据，将所述目标数据写入至所述目标数据库中。

本申请实施例的第二方面提供了一种数据同步装置，包括：

第一发送模块，用于向目标数据库中发送数据主键查询指令，所述数据主键查询指令用于指示所述目标数据库查找目标数据记录对应的主键信息；

获取模块，用于获取所述目标数据库反馈的所述目标数据记录对应的主键信息；

第二发送模块，用于基于所述主键信息，生成数据查询语句，将所述数据查询语句发送至源数据库中，所述数据查询语句用于指示所述源数据库查找与所述主键信息具有存储时间关联性的目标数据，所述存储时间关联性包括存储时间位于所述主键信息对应的所述目标数据记录的存储时间之后；

数据写入模块，用于获取所述源数据库输出的所述目标数据，将所述目标数据写入至所述目标数据库中。

本申请实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。