[发明专利]数据库并发导出方法、装置、存储介质及电子设备

说明书

本发明公开了一种数据库并发导出方法、装置、存储介质及电子设备，其中，该方法包括：确定目标数据表的导出字段，其中，所述导出字段对应所述目标数据表的一列；根据所述导出字段将所述目标数据表划分为多个表段区间，其中，每个表段区间至少包括一行数据；并发查询所述多个表段区间的表数据并导出。通过本发明，实现了对表中数据的并行查询及查询数据的导出。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据库并发导出方法、装置、存储介质及电子设备。

背景技术

数据导出是数据库领域的一种重要应用。目前市场上主流的数据库导出工具中，大多数仅能支持表级别的数据并发导出。而有些工具虽然号称能够支持行级别的数据导出，但功能并不完整，并非对所有场景都适用。以高性能多线程导出工具mydumper为例，其仅能支持导出字段为数值类型表的并发导出，而对于导出字段为字符串或日期等非数值类型的表格，则只能整表导出。

诸如mydumper此类数据库导出工具之所以无法做到支持全场景下的数据行级并发导出，一个技术难点在于如何获取表格中所有类型字段的数据分布情况，从而将表中数据合理切分，进而通过命令行的形式并行查询获取不同区间的数据并导出。对于导出字段为数值类型，可以通过先获取表中该字段的最大值与最小值，随后根据线程要求将数据拆成合理的区间。例如字段最小值为1，最大值为10000，并发数要求为10，则可将表中数据划分成[1,1000),...,[9000,10000]区间。随后，便可以根据划分的数据区间实现并行查询获取各区间数据并导出。然而，上述方法对字符串等非数值类型并不适用。因为对于非数值类型字段，仅从数据本身出发，无法获取到该字段列在表中的数据分布。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种数据库并发导出方法、装置、存储介质及电子设备。

根据本申请实施例的一个方面，提供了一种数据库并发导出方法，包括：确定目标数据表的导出字段，其中，所述导出字段对应所述目标数据表的一列；根据所述导出字段将所述目标数据表划分为多个表段区间，其中，每个表段区间至少包括一行数据；并发查询所述多个表段区间的表数据并导出。

进一步，根据所述导出字段将所述目标数据表划分为多个表段区间包括：提取所述目标数据表中导出字段的字段值集合，并获取最大区间数M，其中，M为大于1的整数；根据所述字段值集合将所述目标数据表划分为M个表段区间。

进一步，根据所述字段值集合将所述目标数据表划分为M个表段区间包括：对所述字段值集合进行去重操作，得到N个非重复的字段值；判断N是否小于所述M；若N小于或等于所述M，将所述目标数据表划分为N个表段区间，其中，所述N个非重复的字段值分别对应一个表段区间。

进一步，判断N是否小于所述M之后，所述方法包括：若N大于所述M，则统计所述目标数据表的总行数；采用所述总行数除以M，得到区间平均频次；根据所述区间平均频次将所述目标数据表划分为M个表段区间。

进一步，根据所述区间平均频次将所述目标数据表划分为M个表段区间包括：按照预设顺序对所述字段值集合进行排序；按照所述区间平均频次依次对排序后的字段值集合进行区间划分，使得每个划分的区间所包含的字段频次等于所述区间平均频次；确定分布在多个表段区间的第一字段值，获取所述第一字段值的第一字段频次；根据所述第一字段频次计算所述第一字段值分别归并在所述多个表段区间后，每个表段区间的字段频次；针对每个表段区间，分别计算对应的字段频次与所述区间平均频次的差值，并选择差值最小的表段区间作为所述第一字段值的归并区间。

进一步，提取所述目标数据表中导出字段的字段值集合包括：根据预设采样率获取所述目标数据表的采样数据；提取所述采样数据中导出字段的字段值集合。

进一步，确定目标数据表的导出字段包括：提取所述目标数据表的索引列；将所述索引列作为所述目标数据表的导出字段。