[发明专利]数据同步方法、装置、设备及计算机可读存储介质

说明书

本发明涉及大数据技术领域，公开了一种数据同步方法，包括以下步骤：获取数据同步请求；根据所述数据同步请求，获取所述源数据源中待同步的源数据以及目标数据源的参数信息；基于所述业务逻辑信息、所述参数信息以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为基于提取实现不同的数据源之间的同步数据的脚本代码公共参数构建得到；基于所述数据同步脚本将所述源数据源上的源数据同步到所述目标数据源。本发明还公开了一种数据同步装置、设备及计算机可读存储介质。本发明通过由预置的通用脚本模板生成数据同步脚本，提高了数据同步脚本的生成效率，进而提高了数据同步的效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据同步方法、装置、设备及计算机可读存储介质。

背景技术

目前，随着移动互联网的发展和便利，越来越多的企业都在使用数据化运营，因此源数据源被不断扩充，可以包括ORACLE,MYSQL等结构化数据库，MON GODB,POSTGRED，HIVE等半结构化数据库，如何高效地从数据源的每个数据库库中获取到源数据，又可以将源数据同步到指定的目标数据源显得尤为重要，然而，目前只能通过执行单一脚本来实现数据同步，在大数据场景下，则需要通过人工的方式构建大批量的脚本来实现数据同步，耗时耗力，因此会造成数据同步效率的低下。因此，如何提高数据同步的效率是目前亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种数据同步方法、装置、设备及计算机可读存储介质，旨在解决数据同步效率较低的技术问题。

为实现上述目的，本发明提供一种数据同步方法，所述数据同步方法包括以下步骤：

获取数据同步请求，其中，所述数据同步请求包括源数据源中待同步的源数据信息、源数据源的参数信息、目标数据源的参数信息、实现所述源数据源与所述目标数据源之间的数据同步的业务逻辑信息；

解析所述数据同步请求，得到解析结果；

基于所述解析结果以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为通过提取实现不同数据源之间的数据同步的脚本代码中的公共参数构建得到；

基于所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源。

可选地，在所述基于所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源的步骤之前，还包括以下步骤：

将所述数据同步脚本发送至预设的安全存储设备进行存储和备份；

读取所述数据同步脚本在所述安全存储设备中的存储路径，生成执行路径；

所述基于所述数据同步脚本将所述源数据源上的源数据同步到所述目标数据源的步骤包括：

根据所述执行路径，通过镜像映射运行的原理执行存储于所述安全存储中的所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源。

可选地，若所述预设的安全存储设备为分布式文件系统时，所述将所述数据同步脚本发送至预设的安全存储设备进行存储和备份包括以下步骤：

将所述数据同步脚本发送至所述分布式文件系统，所述分布式文件系统包括一个主节点和多个从节点，所述主节点用于存储所述数据同步脚本的元数据，所述从节点用于存储数据同步脚本；

基于所述元数据，通过所述从节点对所述数据同步脚本进行存储和备份。可选地，所述基于所述解析结果以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为通过提取实现不同数据源之间的数据同步的脚本代码中的公共参数构建得到,包括以下步骤：

基于所述解析结果，获取待生成的数据同步脚本的版本信息；

基于所述版本信息，从预置函数数据库选出函数，调用所述函数生成预置的通用脚本模板；