[发明专利]分布式数据处理方法、装置、电子设备及存储介质

说明书

本申请提供了分布式数据处理方法、装置、电子设备及存储介质，属于数据库领域。该方法包括：确定分布式数据集对应的分桶字段，基于分桶字段将分布式数据集确定为至少一个数据子集；对于分布式数据集中的每一条数据，基于该数据的分区存储信息确定该数据的分桶编码；基于分布式数据集的数据记录总数或者数据总大小，确定各数据子集对应的数据桶的桶序号；对于每一数据子集中的每一条数据，基于该数据的分桶编码从该数据子集对应的数据桶的桶序号中确定该数据对应的目标桶序号，并将该数据写入目标桶序号对应的数据桶。本申请的实施可将分布式数据中相同字段值的数据集中存储至一个或者多个数据桶中，减少数据分布不均匀的情况。

技术领域

本申请涉及数据库领域，具体而言，本申请涉及一种分布式数据处理方法和装置，一种电子设备，以及一种计算机可读存储介质。

背景技术

在数据仓库建设与数据治理体系中，为了提高DWD(Data Warehouse Detail，数据明细层)的易用性，提升数据查询效率，通常在数据明细层采用一些维度退化手法将分布式数据集进行分区或分桶存储。

但是现有的分布式数据处理方法往往会在不同层级文件夹下出现重复数据，且数据分布不均匀，进而导致数据使用时会消耗更多的计算资源。

发明内容

本申请的目的旨在提供一种分布式数据处理方法、装置、电子设备及存储介质，以解决上述的至少一个技术问题。本申请实施例所提供的方案具体如下：

第一方面，本申请提供了一种分布式数据处理方法，包括：

确定分布式数据集对应的分桶字段，基于上述分桶字段将上述分布式数据集确定为至少一个数据子集，每一上述数据子集对应于上述分桶字段的一个字段值；

对于上述分布式数据集中的每一条数据，基于该数据的分区存储信息确定该数据的分桶编码；

基于上述分布式数据集的数据记录总数或者数据总大小，确定各上述数据子集对应的数据桶的桶序号；

对于每一上述数据子集中的每一条数据，基于该数据的分桶编码从该数据子集对应的数据桶的桶序号中确定该数据对应的目标桶序号，并将该数据写入上述目标桶序号对应的数据桶。

结合第一方面，在第一方面的第一种实施方式中，上述基于上述分布式数据集的数据记录总数，确定各上述数据子集对应的数据桶的桶序号还包括：

基于上述分布式数据集的数据记录总数和预设分桶数，确定桶平均数据记录数；

确定各上述数据子集的数据记录数，基于各上述数据子集的数据记录数和上述桶平均数据记录数，确定各上述数据子集对应的数据桶的桶序号。

结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，上述基于各上述数据子集的数据记录数和上述桶平均数据记录数，确定各上述数据子集对应的数据桶的桶序号，包括：

将各上述数据子集按照数据记录数由大到小的顺序进行排列，并基于排列顺序确定各上述数据子集对应的数据桶的桶序号；

对于数据子集i，若数据子集i对应的数据记录数K_i与桶平均数据记录数N相等，则确定数据子集i对应的数据桶的桶序号为m+1，其中，当i为大于1的正整数时，m为上一数据子集对应的数据桶中的最大桶序号，当i等于1时，m等于0；

若数据记录数K_i大于桶平均数据记录数N，则确定数据子集i对应的数据桶的最小桶序号为m+1、最大桶序号为其中，表示向上取整；