[发明专利]批量数据同步方法、系统及电子设备

说明书

本公开涉及一种批量数据同步方法、系统、电子设备及计算机可读介质。该方法包括：大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置；异构数据源离线同步框架将所述待同步数据的历史数据存储到所述分布式文件系统的第二预设位置；数据仓库工具将所述待同步数据按照预设规则分区存储；在预设时间将所述分区存储的待同步数据进行批量合并以实现所述待同步数据的批量同步。本公开涉及的批量数据同步方法、系统、电子设备及计算机可读介质，能够解决现有技术中存在的批量数据同步的时效性差的问题，快速准确的进行批量数据的同步，不会增加网络负担。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种批量数据同步方法、系统、电子设备及计算机可读介质。

背景技术

数据库操作往往会成为一个系统的瓶颈所在，而且一般的系统“读”的压力远远大于“写”，可以通过实现数据库的读写分离来提高系统的性能。通过设置主从数据库实现读写分离，主数据库负责“写操作”，从数据库负责“读操作”，根据压力情况，从数据库可以部署多个提高“读”的速度，借此来提高系统总体的性能。要实现读写分离，就要解决主从数据库数据同步的问题,在主数据库写入数据后要保证从数据库的数据也要更新。

Sqoop即SQL-to-Hadoop，是连接传统关系型数据库和Hadoop的桥梁，用于把关系型数据库的数据导入到Hadoop系统(如HDFS HBase和Hive)中；也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop利用MapReduce加快数据传输速度，并且采用批处理方式进行数据传输。但是，在通过Sqoop进行数据同步的过程中，需要消耗SQL注入安全检测工具中大量的指访问控制列表，而且Sqoop离线同步数据的时候传输数据比较慢。

为了解决现有技术中的困境，本公开提出一种新的批量数据同步方法、系统、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种批量数据同步方法、系统、电子设备及计算机可读介质，能够解决现有技术中存在的批量数据同步的时效性差的问题，快速准确的进行批量数据的同步，不会增加网络负担。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种批量数据同步方法，该方法包括：大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置；异构数据源离线同步框架将所述待同步数据的历史数据存储到所述分布式文件系统的第二预设位置；数据仓库工具将所述待同步数据按照预设规则分区存储；在预设时间将所述分区存储的待同步数据进行批量合并以实现所述待同步数据的批量同步。

可选地，还包括：分布式发布订阅消息系统获取业务相关数据。

可选地，大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置之前，包括：所述大数据分布式流数据流引擎通过消费方式获取所述业务相关数据；基于所述业务相关数据获取所述待同步数据。

可选地，大数据分布式流数据流引擎将待同步数据存储到分布式文件系统的第一预设位置，包括：大数据分布式流数据流引擎获取任务元数据的配置信息；基于所述任务元数据的业务属性对所述待同步的表进行解析；将解析后的所述待同步的表存储到分布式文件系统的第一预设位置。

可选地，将解析后的所述待同步的表存储到分布式文件系统的第一预设位置，包括：将所述待同步的表进行sink解析以生成所述待同步数据；将所述待同步的表存储到Hadoop Distributed File System系统的第一预设位置。