[发明专利]数据倾斜矫正方法、装置、计算机设备和存储介质

说明书

本申请公开了一种数据倾斜矫正方法、装置、计算机设备和存储介质。该数据倾斜矫正方法包括：获取数据倾斜矫正指令，根据所述数据倾斜矫正指令从多个服务器中获取原始数据表；在所述原始数据表的分组字段中增加随机数列，得到中间数据，将所述中间数据存储至中间表中；所述随机数列的列值为互不重复的随机数进行循环；确定所述中间表的关联键，根据所述中间表的关联键进行数据倾斜矫正。本申请能够有效解决数据倾斜问题。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据倾斜矫正方法、装置、计算机设备和存储介质。

背景技术

数据倾斜是在大数据处理时经常遇到的问题，数据倾斜是指在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台服务器节点上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。大多数的大数据产品在解决数据倾斜的问题上，采用的是增加物理资源、手动调整shuffle并行度参数、分区(Partitioning)等手段解决数据倾斜问题。然而当数据量较大时，还是会导致内存溢出，无法有效解决数据倾斜问题。

发明内容

本申请的主要目的在于提供一种能够有效解决数据倾斜问题的数据倾斜矫正方法、装置、计算机设备和存储介质。

为了实现上述目的，根据本申请的一个方面，提供了一种数据倾斜矫正方法。

根据本申请的数据倾斜矫正方法包括：

获取数据倾斜矫正指令，根据所述数据倾斜矫正指令从多个服务器节点中获取原始数据表；

在所述原始数据表的分组字段中增加随机数列，得到中间数据，将所述中间数据存储至中间表中；所述随机数列的列值为互不重复的随机数进行循环；

确定所述中间表的关联键，根据所述中间表的关联键进行数据倾斜矫正。

进一步的，所述在所述原始数据表的分组字段中增加随机数列，得到中间数据包括：

在所述原始数据表的分组字段中增加一个随机数列，所述随机数列的列值最大值大于所述原始数据表中所述分组字段对应的最多数据量。

进一步的，所述确定所述中间表的关联键，包括：

根据所述原始数据表的分组字段和所述随机数列生成所述中间表的关联键。

进一步的，所述根据所述中间表的关联键进行数据倾斜矫正，包括：

根据所述中间表的关联键对所述中间表中的中间数据进行轮循分组，将分组后的数据均匀分配至各服务器，完成数据倾斜矫正。

进一步的，所述方法还包括：

获取预先创建的数据倾斜指标和所述数据倾斜指标的目标值；

根据所述数据倾斜指标，将所述数据倾斜指标的目标值与所述原始数据表中相应数据倾斜指标的实际值进行比较，确定是否存在数据倾斜；

若存在数据倾斜，则在倾斜数据中增加随机数列。

为了实现上述目的，根据本申请的另一方面，提供了一种数据倾斜矫正装置。

根据本申请的数据倾斜矫正装置包括：

通信模块，用于获取数据倾斜矫正指令，根据所述数据倾斜矫正指令从多个服务器中获取原始数据表；

随机处理模块，用于随机在所述原始数据表的分组字段中增加随机数列，得到中间数据，将所述中间数据存储至中间表中；所述随机数列的列值为互不重复的随机数进行循环；

倾斜矫正模块，用于确定所述中间表的关联键，根据所述中间表的关联键进行数据倾斜矫正。