[发明专利]数据同步方法和系统、计算机可读存储介质

说明书

本公开是关于一种数据同步方法和系统、计算机可读存储介质。该方法包括：从源数据库获取初始源数据；生成所述初始源数据的指纹数据得到包含所述指纹数据的目标源数据；所述指纹数据作为所述初始源数据的主键；将所述目标源数据同步到目标数据库，以使所述目标数据库在所述主键校验通过后存储所述目标源数据。本实施例中通过为初始源数据生成具有唯一性特征的指纹数据可以解决数据同步过程中重复同步的问题，提升数据同步的准确度和同步效率。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据同步方法和系统、计算机可读存储介质。

背景技术

现有异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。异构数据源离线同步工具本身作为离线数据同步框架，采用Framework+plugin架构构建，将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

考虑到待同步的数据来自于不同的数据源，而不同数据源的数据可能采用不同类型的主键(如字符串类型的uuid，数据库自增的数字型主键或者自定义规则的主键)。实际应用中，部分Reader插件读取的源数据没有主键，此时需要利用关系数据库生成自增主键，此时在增量数据同步时会引起重复插入数据。另外，由于Reader插件和Writer插件可能处于不同节点，加之现有异构数据源离线同步工具没有安全处理机制，导致无法检测出数据同步传输过程被篡改的数据。

发明内容

本公开提供一种数据同步方法和系统、计算机可读存储介质，以解决相关技术的不足。

根据本公开实施例的第一方面，提供一种数据同步方法，应用于数据同步系统，包括：

从源数据库获取初始源数据；

生成所述初始源数据的指纹数据得到包含所述指纹数据的目标源数据；所述指纹数据作为所述初始源数据的主键；

将所述目标源数据同步到目标数据库，以使所述目标数据库在所述主键校验通过后存储所述目标源数据。

可选地，生成所述初始源数据的指纹数据，包括：

调用预设的指纹生成模型；

将所述初始源数据作为所述指纹生成模型的输入数据输入到所述指纹生成模型，得到所述指纹数据。

可选地，所述预设的指纹生成模型采用消息摘要算法、安全散列算法、消息认证码算法和基于密钥的消息认证码算法中的至少一种实现。

可选地，将所述目标源数据同步到目标数据库，包括：

基于所述目标源数据中的初始源数据生成校验指纹数据；

当所述目标源数据中的主键与所述校验指纹数据相同时，将所述目标源数据发送到目标数据库。

可选地，所述方法还包括：

所述目标数据库获取所述目标源数据中的主键并匹配已存储数据的主键；

当所述目标数据库中存在所述目标源数据的主键时，将所述目标源数据更新到所述目标数据库；

当所述目标数据库中不存在所述目标源数据的主键时，将所述目标源数据插入到所述目标数据库。

可选地，将所述目标源数据同步到目标数据库，包括：

获取除新增数据列之外的数据列的第一指纹数据和包含新增数据列的数据列的第二指纹数据；

匹配所述第一指纹数据和所述目标数据库的主键；

当所述目标数据库中存在所述目标源数据的主键时，将所述目标源数据和所述第二指纹数据更新到所述目标数据库。