[发明专利]数据导出方法、装置、计算机可读存储介质及电子设备

说明书

本发明的实施方式提供了一种数据导出方法、装置、计算机可读存储介质及电子设备。该数据导出方法包括：根据数据源中数据表的主键的值的分布，将数据划分为多个第一级别区间并统计所述多个第一级别区间数据的分布情况；根据统计的所述第一级别区间数据的分布情况将多个所述第一级别区间聚合为预设数量的第二级别区间；将各所述第二级别区间分配给一执行节点执行以将所述第二级别区间的数据导出到目标存储模块。本发明的方法通过将数据均匀分布，提高了数据导出效率。

技术领域

本发明的实施方式涉及数据处理技术领域，更具体地，本发明的实施方式涉及数据导出方法、数据导出装置、计算机可读存储介质及电子设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着信息技术的日益发展以及数据量的高速增长，涌现了各种用于数据处理的数据库，其中，分布式数据库(Distributed Database，DDB)在大型商业系统中的应用变得越来越普遍。

现有的数据处理技术方案中，大多使用数据库导入导出工具Sqoop从数据库中导出数据。Sqoop在导出数据时，会根据指定的数据表中的列，将数据划分为多个不同的数据组或数据段，然后构建多个任务，从而将数据同时导出。

发明内容

在现有方案中，Sqoop在导出数据时，由于分布式数据库中的数据量较大、进行数据导出时是无序导出的以及划分的数据段不均衡的原因，现有技术会导致多个任务运行时间长、效率低下、可靠性低的问题。因此在现有技术中，将所有数据高效导出这是非常令人烦恼的过程。

为此，非常需要一种改进的数据导出方法，以使得能够高效、可靠地对数据库中的数据进行导出。

在本上下文中，本发明的实施方式期望提供一种数据导出方法、数据导出装置、计算机可读存储介质及电子设备。

在本发明实施方式的第一方面中，提供了一种数据导出方法，包括：

根据数据源中数据表的主键的值的分布，将数据划分为多个第一级别区间并统计所述多个第一级别区间数据的分布情况；

根据统计的所述第一级别区间数据的分布情况将多个所述第一级别区间聚合为预设数量的第二级别区间；其中，每一所述第二级别区间均包括一个或连续的多个所述第一级别区间；

将各所述第二级别区间分配给一执行节点执行以将所述第二级别区间的数据导出到目标存储模块。

在本发明的一个实施例中，统计所述多个第一级别区间数据的分布情况包括：

统计各所述第一级别区间记录的数据数量。

在本发明的又一个实施例中，统计所述多个第一级别区间数据的分布情况还包括：

判断多个所述第一级别区间中是否存在未记录数据的区间；

在判断多个所述第一级别区间中存在所述未记录数据的区间时，跳过所述未记录数据的区间。

在本发明的一个实施例中，将所述多个第一级别区间聚合为预设数量的第二级别区间包括：

通过动态规划算法将多个所述第一级别区间聚合为所述预设数量的第二级别区间。

在本发明的一个实施例中，通过动态规划算法将多个所述第一级别区间聚合包括：

将所有所述第一级别区间划分为预设数量的数据组，并统计各所述数据组的数据量；其中每一所述数据组均包括一个或连续的多个所述第一级别区间；

以所有所述数据组的数据量中的最大值最小为目标，将多个所述第一级别区间聚合为所述预设数量的第二级别区间。