[发明专利]数据同步方法及系统

说明书

本申请公开了一种数据同步方法，该方法包括：从数据源中采集全量数据和增量数据；为采集的每一条数据分配有序且唯一的编号；对所述数据按照所述编号进行全局有序排列和去重处理；将处理后的数据按顺序写入数据湖表中。本申请还公开了一种数据同步系统、电子装置和计算机可读存储介质。由此，能够对全量数据和增量数据进行一体化打通，并实现分钟级数据同步和一键增量化入仓，还保证了所述全量数据和所述增量数据的有序性和唯一性，保障了数据传输质量。

技术领域

本申请涉及数据传输与处理技术领域，尤其涉及一种数据同步方法、系统、电子装置及计算机可读存储介质。

背景技术

目前对于从数据源到数据湖表的数据同步过程，一般只能将全量数据的同步和增量数据的同步分开进行。例如按天拉取全量数据，每小时拉取增量数据，并对所述全量数据和所述增量数据进行在线合并。该方案只能实现小时级数据同步，处理时效性低，并且用户体验不透明。

需要说明的是，上述内容并不用于限制申请保护范围。

发明内容

本申请的主要目的在于提出一种数据同步方法、系统、电子装置及计算机可读存储介质，旨在解决如何打通全量数据和增量数据的同步，以及提高处理时效性和透明性的问题。

为实现上述目的，本申请实施例提供了一种数据同步方法，所述方法包括：

从数据源中采集全量数据和增量数据；

为采集的每一条数据分配有序且唯一的编号；

对所述数据按照所述编号进行全局有序排列和去重处理；及

将处理后的数据按顺序写入数据湖表中。

可选地，所述方法还包括：

根据从所述数据源中采集的至少部分数据与所述数据湖表中对应的至少部分数据，检验数据传输质量。

可选地，所述从数据源中采集全量数据和增量数据包括：

通过快照技术按天采集所述全量数据，通过读取增量日志分钟级采集所述增量数据。

可选地，所述从数据源中采集全量数据和增量数据包括：

针对第一预设类型数据源，基于Flink CDC，通过全量快照技术拉取得到所述全量数据，通过读取Binlog日志得到所述增量数据。

可选地，所述从数据源中采集全量数据和增量数据还包括：

针对第二预设类型数据源，通过代理采集从节点的Dump文件得到所述全量数据，通过读取Binlog日志得到所述增量数据。

可选地，所述为采集的每一条数据分配有序且唯一的编号包括：

记录当前的系统生成时间，作为一个时间戳；

生成一个单调递增编号；

将所述时间戳加上所述单调递增编号作为所述有序且唯一的编号分配给当前数据。

可选地，所述方法在所述为采集的每一条数据分配有序且唯一的编号和所述对所述数据按照所述编号进行全局有序排列和去重处理之间还包括：

将带有编号的所述数据推送到Kafka消息队列中；

从所述Kafka消息队列中消费当前数据。

此外，为实现上述目的，本申请实施例还提供一种数据同步系统，所述系统包括：

采集模块，用于从数据源中采集全量数据和增量数据；

分配模块，用于为采集的每一条数据分配有序且唯一的编号；