[发明专利]一种数据聚合方法、装置、存储介质及电子设备

说明书

本发明实施例提供一种数据聚合方法、装置、存储介质及电子设备，该方法包括：通过上游流处理平台接收变更消息，所述变更数据包括目标标识以及变更数据；从分布式存储系统中读取以所述目标标识为主键的主表数据，基于所述变更数据对所述主表数据进行聚合，生成聚合数据；将所述聚合数据发送到下游流处理平台。利用Flink分布式流式处理和分布式存储系统海量存储能力，能够在保证消息时序的情况下，实现实时高吞吐的数据聚合。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据聚合方法、装置、存储介质及电子设备。

背景技术

随着互联网的发展，搜索引擎是用户快速获取信息的主要手段。

在电商搜索领域，搜索底层的原始数据大部分存储各种各样mysql表中，构建索引之前，需要将各个表的数据聚合成完整的记录。在电商领域搜索数据具有海量且变化频繁的特点，从而会产生海量的实时消息，如何将海量实时数据做到低延迟，高吞吐的聚合是一个非常大的挑战。比如在电商大促期间，商品信息变更频繁，面对海量实时数据，如果聚合延迟，消息积压，则无法保证消息的实时性，带来不好的用户体验，例如，价格消息积压，商家促销的价格调整就无法实时生效，库存变更延迟，用户可能看到搜索出来商品无货，其实是有货的情况。

因此需要一种新的数据聚合方法、装置、存储介质及电子设备，实现百万级别的海量数据的低延迟高吞吐的数据聚合。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种数据聚合方法、装置、存储介质及电子设备，实现百万级别的海量数据的低延迟高吞吐的数据聚合。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的第一方面，提供一种数据聚合方法，其中，所述方法包括：通过上游流处理平台接收变更消息，所述变更数据包括目标标识以及变更数据；从分布式存储系统中读取以所述目标标识为主键的主表数据，基于所述变更数据对所述主表数据进行聚合，生成聚合数据；将所述聚合数据发送到下游流处理平台。

在本发明的一些示例性实施例中，基于前述方案，所述聚合数据包括：主表聚合数据；

所述基于所述变更数据对所述主表数据进行聚合，生成聚合数据，包括：判断所述分布式存储系统的主表中与所述变更数据中的变更字段对应的列是否为空；若所述主表中与所述变更数据中的变更字段对应的列为空，将所述变更字段写入所述列，并基于写入所述变更字段的主表生成主表聚合数据。

在本发明的一些示例性实施例中，基于前述方案，所述方法还包括：若所述主表中与所述变更数据中的变更字段对应的列不为空，比较所述变更字段的版本号与所述列的版本号的大小；若所述变更字段的版本号不大于所述列的版本号，基于所述主表生成主表聚合数据；若所述变更字段的版本号大于所述列的版本号，将所述列的数据替换为所述变更字段，并基于替换后的主表数据生成主表聚合数据。

在本发明的一些示例性实施例中，基于前述方案，所述聚合数据还包括：复合聚合数据；

所述方法还包括：从所述分布式存储系统的附表中读取以所述主表聚合数据中的指定列为主键的附表数据；判断所述附表数据是否为空；若所述附表数据为空，基于所述主表聚合数据生成复合聚合数据。

在本发明的一些示例性实施例中，基于前述方案，所述方法还包括：若所述附表数据不为空，基于所述主表聚合数据以及所述附表生成复合聚合数据。

在本发明的一些示例性实施例中，基于前述方案，所述目标标识包括商品标识。

在本发明的一些示例性实施例中，基于前述方案，所述方法由基于Flink的数据聚合装置执行。