[发明专利]数据倾斜矫正方法、装置、计算机设备和存储介质

权利要求书

1.一种数据倾斜矫正方法，其特征在于，包括：

获取数据倾斜矫正指令，根据所述数据倾斜矫正指令从多个服务器中获取原始数据表；

在所述原始数据表的分组字段中增加随机数列，得到中间数据，将所述中间数据存储至中间表中；所述随机数列的列值为互不重复的随机数进行循环；

确定所述中间表的关联键，根据所述中间表的关联键进行数据倾斜矫正。

2.根据权利要求1所述的方法，其特征在于，所述在所述原始数据表的分组字段中增加随机数列，得到中间数据包括：

在所述原始数据表的分组字段中增加一个随机数列，所述随机数列的列值最大值大于所述原始数据表中所述分组字段对应的最多数据量。

3.根据权利要求1所述的方法，其特征在于，所述确定所述中间表的关联键，包括：

根据所述原始数据表的分组字段和所述随机数列生成所述中间表的关联键。

4.根据权利要求1所述的方法，其特征在于，所述根据所述中间表的关联键进行数据倾斜矫正，包括：

根据所述中间表的关联键对所述中间表中的中间数据进行轮循分组，将分组后的数据均匀分配至各服务器，完成数据倾斜矫正。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预先创建的数据倾斜指标和所述数据倾斜指标的目标值；

根据所述数据倾斜指标，将所述数据倾斜指标的目标值与所述原始数据表中相应数据倾斜指标的实际值进行比较，确定是否存在数据倾斜；

若存在数据倾斜，则在倾斜数据中增加随机数列。

6.一种数据倾斜矫正装置，其特征在于，所述装置包括：

通信模块，用于获取数据倾斜矫正指令，根据所述数据倾斜矫正指令从多个服务器中获取原始数据表；

随机处理模块，用于随机在所述原始数据表的分组字段中增加随机数列，得到中间数据，将所述中间数据存储至中间表中；所述随机数列的列值为互不重复的随机数进行循环；

倾斜矫正模块，用于确定所述中间表的关联键，根据所述中间表的关联键进行数据倾斜矫正。

7.根据权利要求6所述的装置，其特征在于，所述随机处理模块还用于在所述原始数据表的分组字段中增加一个随机数列，所述随机数列的列值最大值大于所述原始数据表中所述分组字段对应的最多数据量。

8.根据权利要求6所述的装置，其特征在于，所述倾斜矫正模块还用于根据所述中间表的关联键对所述中间表中的中间数据进行轮循分组，将分组后的数据均匀分配至各服务器，完成数据倾斜矫正。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。