[发明专利]一种数据聚合方法、装置、存储介质及电子设备

权利要求书

1.一种数据聚合方法，其特征在于，所述方法包括：

通过上游流处理平台接收变更消息，所述变更数据包括目标标识以及变更数据；

从分布式存储系统中读取以所述目标标识为主键的主表数据，基于所述变更数据对所述主表数据进行聚合，生成聚合数据；

将所述聚合数据发送到下游流处理平台。

2.如权利要求1所述的方法，其特征在于，所述聚合数据包括：主表聚合数据；

所述基于所述变更数据对所述主表数据进行聚合，生成聚合数据，包括：

判断所述分布式存储系统的主表中与所述变更数据中的变更字段对应的列是否为空；

若所述主表中与所述变更数据中的变更字段对应的列为空，将所述变更字段写入所述列，并基于写入所述变更字段的主表生成主表聚合数据。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

若所述主表中与所述变更数据中的变更字段对应的列不为空，比较所述变更字段的版本号与所述列的版本号的大小；

若所述变更字段的版本号不大于所述列的版本号，基于所述主表生成主表聚合数据；

若所述变更字段的版本号大于所述列的版本号，将所述列的数据替换为所述变更字段，并基于替换后的主表数据生成主表聚合数据。

4.如权利要求3所述的方法，其特征在于，所述聚合数据还包括：复合聚合数据；

所述方法还包括：

从所述分布式存储系统的附表中读取以所述主表聚合数据中的指定列为主键的附表数据；

判断所述附表数据是否为空；

若所述附表数据为空，基于所述主表聚合数据生成复合聚合数据。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

若所述附表数据不为空，基于所述主表聚合数据以及所述附表生成复合聚合数据。

6.如权利要求1所述的方法，其特征在于，所述目标标识包括商品标识。

7.如权利要求1-6中任意一项所述的方法，其特征在于，所述方法由基于Flink的数据聚合装置执行。

8.一种数据聚合装置，其特征在于，所述装置包括：

接收模块，用于通过上游流处理平台接收变更数据，所述变更数据包括目标标识以及变更数据；

生成模块，用于从分布式存储系统中读取以所述目标标识为主键的主表数据，并基于所述变更数据对所述主表数据进行聚合，生成聚合数据；

发送模块，用于将所述聚合数据发送到下游流处理平台。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。

10.一种电子设备，其特征在于，包括：一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法步骤。