[发明专利]一种数据同步方法、装置及系统

说明书

本发明实施例提供了一种数据同步方法、装置及系统，系统包括源数据仓库、预设存储区域和所述目标数据仓库，其中，所述预设存储区域用于存储历史同步文件，所述历史同步文件携带有数据的标识，方法包括：确定待同步的目标数据的目标标识；检测预设存储区域中是否存储有目标标识所对应的目标同步文件；当预设存储区域中存储有所述目标标识所对应的目标同步文件时，获取预设存储区域中的目标同步文件；将所获取的目标同步文件中的目标数据更新到目标数据仓库。应用本发明实施例所提供的方案，可以减小源数据仓库负担，以及提高数据同步效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据同步方法、装置及系统。

背景技术

现有技术中，一种常见的数据同步方法是数据仓库同步方法，即将目标数据仓库数据与源数据仓库数据进行同步，其中，源数据仓库中存储有最新数据。现有的数据仓库同步方法的过程为：目标数据仓库向源数据仓库发送数据同步请求，数据同步请求中携带有待同步的目标数据的目标标识；然后，源数据仓库根据该目标标识从源数据仓库中导出该目标数据到目标同步文件，并将该目标同步文件发送给目标数据仓库；进而，目标数据仓库接收该目标同步文件，并将该目标同步文件中数据存储到目标数据仓库中，然后删除该目标同步文件。

当目标数据仓库的数量为多个时，各个目标数据仓库之间的数据同步是相互独立的。如果各个目标数据仓库待更新的目标数据是一样的，则每个目标数据仓库都会向源数据仓库发送数据同步请求，源数据仓库需要每次都对数据同步请求进行响应，这样的话，就增加了源数据仓库的负担。并且，源数据仓库每接收到数据同步请求，都会执行从源数据仓库中导出目标数据到目标同步文件，之后再将目标同步文件发送给目标数据仓库的步骤。这样的话，就会增加目标数据仓库进行数据同步的时长，数据同步效率较低。

发明内容

本发明实施例的目的在于提供一种数据同步方法、装置及系统，以减小源数据仓库负担，以及提高数据同步效率。具体技术方案如下：

第一方面，本发明实施例提供了一种数据同步方法，应用于数据同步系统中的目标数据仓库，所述数据同步系统包括源数据仓库、预设存储区域和所述目标数据仓库，其中，所述预设存储区域用于历史同步文件，所述历史同步文件携带有数据的标识，所述方法包括：

获取待同步的目标数据的目标标识；

检测预设存储区域中是否存储有所述目标标识所对应的目标同步文件；

当预设存储区域中存储有所述目标标识所对应的目标同步文件时，获取所述预设存储区域中的所述目标同步文件；

将所获取的所述目标同步文件中的目标数据更新到所述目标数据仓库。

可选地，所述方法还包括：

当预设存储区域中未存储有所述目标标识所对应的目标同步文件时，向源数据仓库发送携带有所述目标标识的数据同步请求，以使得所述源数据仓库在接收到所述数据同步请求后，基于具有所述目标标识的所述目标数据生成所述目标同步文件，并发送给所述目标数据仓库；

接收所述源数据仓库发送的所述目标同步文件，并将所接收到的目标同步文件中的目标数据更新到所述目标数据仓库。

可选地，所述方法还包括：

校验存储到目标数据仓库的目标数据与源数据仓库中的目标数据是否一致，如果不一致，返回向源数据仓库发送数据同步请求的步骤。

可选地，检测到预设存储区域中存储有所述目标标识所对应的目标同步文件的步骤之后，所述获取所述预设存储区域中的所述目标同步文件的步骤之前，所述方法还包括：对所述目标同步文件添加加锁标识；

所述获取所述预设存储区域中的所述目标同步文件的步骤之后，所述方法还包括：将所述同步文件的所述加锁标识去除。