[发明专利]分布式数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种分布式数据的处理方法，其特征在于，所述方法包括：

确定分布式数据集对应的分桶字段，基于所述分桶字段将所述分布式数据集确定为至少一个数据子集，每一所述数据子集对应于所述分桶字段的一个字段值；

对于所述分布式数据集中的每一条数据，基于该数据的分区存储信息确定该数据的分桶编码；

基于所述分布式数据集的数据记录总数或者数据总大小，确定各所述数据子集对应的数据桶的桶序号；

对于每一所述数据子集中的每一条数据，基于该数据的分桶编码从该数据子集对应的数据桶的桶序号中确定该数据对应的目标桶序号，并将该数据写入所述目标桶序号对应的数据桶。

2.根据权利要求1所述的方法，其特征在于，所述基于所述分布式数据集的数据记录总数，确定各所述数据子集对应的数据桶的桶序号，包括：

基于所述分布式数据集的数据记录总数和预设分桶数，确定桶平均数据记录数；

确定各所述数据子集的数据记录数，基于各所述数据子集的数据记录数和所述桶平均数据记录数，确定各所述数据子集对应的数据桶的桶序号。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述数据子集的数据记录数和所述桶平均数据记录数，确定各所述数据子集对应的数据桶的桶序号，包括：

将各所述数据子集按照数据记录数由大到小的顺序进行排列，并基于排列顺序确定各所述数据子集对应的数据桶的桶序号；

对于数据子集i，若数据子集i对应的数据记录数K_i与桶平均数据记录数N相等，则确定数据子集i对应的数据桶的桶序号为m+1，其中，当i为大于1的正整数时，m为上一数据子集对应的数据桶中的最大桶序号，当i等于1时，m等于0；

若数据记录数K_i大于桶平均数据记录数N，则确定数据子集i对应的数据桶的最小桶序号为m+1、最大桶序号为其中，表示向上取整；

若数据记录数K_i小于桶平均数据记录数N，则确定数据子集i至数据子集j对应的数据桶的桶序号为m+1，其中，j为使得大于或者等于桶平均数据记录数N时的最小正整数，r为数据子集的索引，为数据子集i至数据子集j的所有数据子集的数据记录数之和，K_r表示数据子集r的数据记录数，r为大于i且小于或者等于j的正整数。

4.根据权利要求1所述的方法，其特征在于，所述基于所述分布式数据集的数据总大小，确定各所述数据子集对应的数据桶的桶序号，包括：

基于所述分布式数据集的数据总大小和预设桶数据大小，确定分桶数；

确定各所述数据子集的数据大小，基于各所述数据子集的数据大小和所述分桶数，确定各所述数据子集对应的数据桶的桶序号。

5.根据权利要求4所述的方法，其特征在于，所述基于各所述数据子集的数据大小和所述分桶数，确定各所述数据子集对应的数据桶的桶序号，包括：

确定各所述数据子集的数据大小占所述数据总大小的数据占比；

基于各所述数据子集对应的数据大小占比和所述分桶数，确定各所述数据子集对应的数据桶的桶序号，其中，每一所述数据子集对应的数据桶的桶序号连续。

6.根据权利要求1所述的方法，其特征在于，对于所述分布式数据集中的每一条数据，所述基于该数据的分区存储信息确定该数据的分桶编码，包括：

基于该数据的数据行序号、所在分区的分区索引号以及总分区数，确定该数据的分桶编码。

7.根据权利要求1所述的方法，其特征在于，对于每一所述数据子集中的每一条数据，所述基于该数据的分桶编码从该数据子集对应的数据桶的桶序号中确定该数据对应的目标桶序号，包括：

确定该数据子集对应的数据桶的桶数量和最小桶序号；

将该数据子集对应的数据桶的桶数量作为除数，对该数据的分桶编码取余得到对应的余数；

将所述余数和所述最小桶序号之和确定为该数据子集对应的数据桶的目标桶序号。