[发明专利]一种数据同步方法、装置、服务器及存储介质

说明书

本申请提供了一种数据同步方法、装置、服务器及存储介质，属于计算机技术领域。本申请通过在第一数据库中提取待同步数据，所述待同步数据为所述第一数据库的任一数据表中发生修改的数据；按照预设的存储规则将所述待同步数据存储到预设存储空间中；记录所述待同步数据在所述存储空间中的存储路径信息；基于所述待同步数据的存储路径信息创建物化视图；基于所述物化视图同步待同步数据，以使第二数据库按照所述物化视图中的存储路径信息查找所述待同步数据并同步。通过本申请，可以将发生修改的数据存储到预设存储空间并记录存储路径，根据存储路径创建物化视图，进而进行同步，避免数据同步时未修改的数据导入导出，提升同步效率。

技术领域

本申请涉及数据同步技术领域，尤其涉及一种数据同步方法、装置、服务器及存储介质。

背景技术

关系型数据库(online transaction processing，OLTP)主要用于管理和存储数据，数据仓库(online analytical processing，OLAP)主要用于分析和计算数据。在一些应用场景中，需要将OLTP中的发生修改的修改数据实时同步到OLAP中进行处理。

目前，将OLTP中的修改数据同步到OLAP中通常采用的方案是：通过OLTP将包含修改数据的数据表发出来，由一个中间数据库接收该数据表，然后再将数据表从中间数据库导出到OLAP中。

然而，通过上述方法同步数据时，中间数据库只能将修改数据以及修改数据所在数据表中未修改的数据重新写一遍之后，才能将修改数据导入到OLAP中，导致未修改的数据也一起导出导入，资源浪费严重，同步效率低。

发明内容

为了解决上述技术问题，本申请提供了一种数据同步方法、装置、服务器及存储介质。

第一方面，提供了一种数据同步方法，所述方法包括:

在第一数据库中提取待同步数据，所述待同步数据为所述第一数据库的任一数据表中发生修改的数据；

按照预设的存储规则将所述待同步数据存储到预设存储空间中；

记录所述待同步数据在所述存储空间中的存储路径信息；

基于所述待同步数据的存储路径信息创建物化视图；

基于所述物化视图同步待同步数据，以使第二数据库按照所述物化视图中的存储路径信息查找所述待同步数据并同步。

可选地，所述按照预设的存储规则将所述待同步数据存储到预设存储空间中之前，还包括：

在所述存储空间内，按照所述第二数据库中分区的划分规则将所述存储空间进行分区，得到多个存储分区；

所述按照预设的存储规则将所述待同步数据存储到预设存储空间中，包括：

在所述存储空间内，按照所述划分规则，将所述待同步数据划分到对应的存储分区内。

可选地，所述按照预设的存储规则将所述待同步数据存储到预设存储空间中之前，还包括：

将提取的所述待同步数据存储到存储区块中，其中所述存储区块至少有一个；

针对每个存储区块，判断所述存储区块中存储所述待同步数据的数据量是否达到存储阈值；

若所述存储区块中存储所述待同步数据的数据量达到存储阈值，存储区块存储状态为存储完成；

若所述存储区块中存储所述待同步数据的数据量未达到存储阈值，存储区块存储状态为存储未完成，将所述存储状态为存储未完成的存储区块作为待合并存储区块；

当存在至少两个所述待合并存储区块且至少两个所述待合并存储区块对应的存储阈值与数据量的差值大于或等于预设阈值时，将至少两个所述待合并存储区块进行合并。