[发明专利]一种数据同步方法、装置、存储介质和服务器

说明书

本发明涉及计算机技术领域，提出一种数据同步方法、装置、存储介质和服务器。该数据同步方法包括：从业务系统的源数据库中检测存在数据更新的源数据表；根据所述源数据表的表名从所述源数据库中查找所述源数据表的元数据；根据所述元数据构建相应的数据同步任务；当执行所述数据同步任务时，结合所述源数据表构建布隆过滤器，将大数据平台待同步的目标数据表的数据输入所述布隆过滤器，从而找出所述目标数据表中需要同步的数据；采用mapjoin工具，从所述源数据表中提取所述需要同步的数据的更新值并将所述更新值加载到内存中，然后再将内存中的所述更新值同步至所述目标数据表。通过这样设置，能够极大地减少系统的消耗，提高数据的同步效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据同步方法、装置、存储介质和服务器。

背景技术

目前，很多不同的业务系统都会接入同一个大数据平台，实现数据资源的共享。由于业务系统的数据是不断更新的，故各个业务系统需要将自身更新的数据同步存储到大数据平台。在进行数据同步时，通常会开发一套数据同步程序，利用该数据同步程序完成将业务系统更新的数据同步至大数据平台的过程。然而，数据是存储在数据表当中的，在执行数据同步操作时，需要将两个大数据量的数据表进行逐条数据比对，找出其中存在更新的数据，这会造成极大的系统消耗。

发明内容

有鉴于此，本发明实施例提供了一种数据同步方法、装置、存储介质和服务器，能够有效降低执行数据同步操作时的系统消耗。

本发明实施例的第一方面，提供了一种数据同步方法，包括：

从业务系统的源数据库中检测存在数据更新的源数据表；

根据所述源数据表的表名从所述源数据库中查找所述源数据表的元数据；

根据所述元数据构建相应的数据同步任务；

当执行所述数据同步任务时，结合所述源数据表构建布隆过滤器，将大数据平台待同步的目标数据表的数据输入所述布隆过滤器，从而找出所述目标数据表中需要同步的数据；

采用mapjoin工具，从所述源数据表中提取所述需要同步的数据的更新值并将所述更新值加载到内存中，然后再将内存中的所述更新值同步至所述目标数据表。

本发明实施例的第二方面，提供了一种数据同步装置，包括：

源数据表检测模块，用于从业务系统的源数据库中检测存在数据更新的源数据表；

元数据查找模块，用于根据所述源数据表的表名从所述源数据库中查找所述源数据表的元数据；

数据同步任务构建模块，用于根据所述元数据构建相应的数据同步任务；

待同步数据查找模块，用于当执行所述数据同步任务时，结合所述源数据表构建布隆过滤器，将大数据平台待同步的目标数据表的数据输入所述布隆过滤器，从而找出所述目标数据表中需要同步的数据；

数据同步模块，用于采用mapjoin工具，从所述源数据表中提取所述需要同步的数据的更新值并将所述更新值加载到内存中，然后再将内存中的所述更新值同步至所述目标数据表。

本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如本发明实施例的第一方面提出的数据同步方法的步骤。

本发明实施例的第四方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如本发明实施例的第一方面提出的数据同步方法的步骤。