[发明专利]一种数据同步方法、装置、存储介质和服务器

权利要求书

1.一种数据同步方法，其特征在于，包括：

从业务系统的源数据库中检测存在数据更新的源数据表；

根据所述源数据表的表名从所述源数据库中查找所述源数据表的元数据；

根据所述元数据构建相应的数据同步任务；

当执行所述数据同步任务时，结合所述源数据表构建布隆过滤器，将大数据平台待同步的目标数据表的数据输入所述布隆过滤器，从而找出所述目标数据表中需要同步的数据；

采用mapjoin工具，从所述源数据表中提取所述需要同步的数据的更新值并将所述更新值加载到内存中，然后再将内存中的所述更新值同步至所述目标数据表。

2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述元数据构建相应的数据同步任务包括：

获取当前的数据同步标识，所述数据同步标识用于指示当前的数据同步策略；

结合所述源数据表的元数据，构建与所述数据同步标识对应的数据同步任务。

3.根据权利要求2所述的数据同步方法，其特征在于，所述构建与所述数据同步标识对应的数据同步任务包括：

若所述数据同步标识为第一标识，则构建用于同步所述源数据表的所有数据的数据同步任务；

若所述数据同步标识为第二标识，则构建用于同步所述源数据表的部分数据的数据同步任务；

若所述数据同步标识为第三标识，则构建用于对所述源数据表的数据进行加密，然后再执行同步操作的数据同步任务；

若所述数据同步标识为第四标识，则构建用于对所述源数据表的数据进行格式转换，然后再执行同步操作的数据同步任务。

4.根据权利要求1所述的数据同步方法，其特征在于，在构建数据同步任务之后，执行所述数据同步任务之前，还包括：

提取所述数据同步任务使用的参数；

将提取到的参数分别和预先构建的全局参数表中的各个全局参数进行比对，判断所述提取到的参数中是否包含全局参数；

若所述提取到的参数中包含全局参数，则从所述全局参数表中查找所述包含的全局参数的最新值，并使用所述最新值对所述包含的全局参数的数值进行更新。

5.根据权利要求1至4中任一项所述的数据同步方法，其特征在于，所述执行所述数据同步任务包括：

当准备执行当次的数据同步任务时，记录当前的系统时间作为所述当次的数据同步任务的起始时间；

获取上一次的数据同步任务的结束时间；

若所述起始时间和所述结束时间相同，则执行所述当次的数据同步任务；

若所述起始时间晚于所述结束时间，则获取数据同步记录，根据所述数据同步记录确定当次的数据同步任务之前产生的同步失败的数据同步任务，并重新执行所述同步失败的数据同步任务。

6.一种数据同步装置，其特征在于，包括：

源数据表检测模块，用于从业务系统的源数据库中检测存在数据更新的源数据表；

元数据查找模块，用于根据所述源数据表的表名从所述源数据库中查找所述源数据表的元数据；

数据同步任务构建模块，用于根据所述元数据构建相应的数据同步任务；

待同步数据查找模块，用于当执行所述数据同步任务时，结合所述源数据表构建布隆过滤器，将大数据平台待同步的目标数据表的数据输入所述布隆过滤器，从而找出所述目标数据表中需要同步的数据；

数据同步模块，用于采用mapjoin工具，从所述源数据表中提取所述需要同步的数据的更新值并将所述更新值加载到内存中，然后再将内存中的所述更新值同步至所述目标数据表。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的数据同步方法的步骤。