[发明专利]批量数据同步方法、系统及电子设备

权利要求书

1.一种批量数据同步方法，其特征在于，包括：

大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置；

异构数据源离线同步框架将所述待同步数据的历史数据存储到所述分布式文件系统的第二预设位置；

数据仓库工具将所述待同步数据按照预设规则分区存储；

在预设时间将所述分区存储的待同步数据进行批量合并以实现所述待同步数据的批量同步。

2.如权利要求1所述的方法，其特征在于，还包括：

分布式发布订阅消息系统获取业务相关数据。

3.如权利要求1-2中任一所述的方法，其特征在于，大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置之前，包括：

所述大数据分布式流数据流引擎通过消费方式获取所述业务相关数据；

基于所述业务相关数据获取所述待同步数据。

4.如权利要求1-3中任一所述的方法，其特征在于，大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置，包括：

大数据分布式流数据流引擎获取任务元数据的配置信息；

基于所述任务元数据的业务属性对所述待同步的表进行解析；

将解析后的所述待同步的表存储到分布式文件系统的第一预设位置。

5.如权利要求1-4中任一所述的方法，其特征在于，将解析后的所述待同步的表存储到分布式文件系统的第一预设位置，包括：

将所述待同步的表进行sink解析以生成所述待同步数据；

将所述待同步的表存储到Hadoop Distributed File System系统的第一预设位置。

6.如权利要求1-5中任一所述的方法，其特征在于，异构数据源离线同步框架将所述待同步数据的历史数据存储到所述分布式文件系统的第二预设位置，包括：

DataX框架将所述待同步数据的历史数据存储到所述Hadoop Distributed FileSystem系统的第二预设位置。

7.如权利要求1-6中任一所述的方法，其特征在于，数据仓库工具将所述待同步数据按照预设规则分区存储，包括：

Hive将所述待同步数据按照时间间隔分区存储，生成多个时间分区。

8.一种批量数据同步系统，其特征在于，包括：

大数据分布式流数据流引擎，用于将待同步数据存储到分布式文件系统的第一预设位置；

异构数据源离线同步框架，用于将所述待同步数据的历史数据存储到所述分布式文件系统的第二预设位置；

数据仓库工具，用于将所述待同步数据按照预设规则分区存储；并在预设时间将所述分区存储的待同步数据进行批量合并以实现所述待同步数据的批量同步。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。