[发明专利]数据导入方法及装置

权利要求书

1.一种数据导入方法，包括：

响应于数据导入指令，将待导入数据分割成多个数据分片，并根据各所述数据分片和列式数据库管理系统的各存储分片构建导入关系，其中，所述导入关系用于指示数据分片与存储分片之间的对应关系；

将每一所述数据分片，导入至与数据分片具有对应关系的存储分片中。

2.根据权利要求1所述的方法，其中，根据各所述数据分片和列式数据库管理系统的各存储分片构建导入关系，包括：

生成包括各所述存储分片的地址信息的列表，并在用于执行导入操作的多个导入线程中广播所述列表；

根据每一所述导入线程，对所述列表和各所述数据分片之间的取模处理结果，构建所述导入关系。

3.根据权利要求2所述的方法，其中，根据每一所述导入线程，对所述列表和各所述数据分片之间的取模处理结果，构建所述导入关系，包括：

为每一所述数据分片分配索引值，并为每一所述导入线程分配包括索引值的数据分片；

根据每一所述导入线程，对分配得到的数据分片、以及所述列表之间取模结果，构建所述导入关系。

4.根据权利要求3所述的方法，其中，根据每一所述导入线程，对分配得到的数据分片、以及所述列表之间取模结果，构建所述导入关系，包括：

通过每一所述导入线程，确定所述列表中各所述存储分片的总数量，并根据每一所述导入线程，对分配得到的数据分片的索引值、以及各所述存储分片的总数量之间取模结果，构建所述导入关系。

5.根据权利要求3所述的方法，其中，将每一所述数据分片，导入至与数据分片具有对应关系的存储分片中，包括：

通过每一所述导入线程，并行将每一所述导入线程分配得到的数据分片导入至具有对应关系的存储分片中。

6.根据权利要求1至5中任一项所述的方法，若任意数据分片导入失败，则所述方法还包括：

根据预设时间间隔，将所述任意数据分片重新导入至具有对应关系的存储分片中。

7.根据权利要求1至5中任一项所述的方法，若任意数据分片导入失败，则所述方法还包括：

确定与所述任意数据分片具有对应关系的存储分片，并确定与所述任意数据分片具有对应关系的存储分片的副本，并将所述任意数据分片导入至所述副本中。

8.根据权利要求1至5中任一项所述的方法，其中，各所述存储分片是：基于获取到的数据导入任务的数量，和/或，所述列式数据库管理系统的负载确定的，所述数据导入任务中包括所述待导入数据。

9.根据权利要求8所述的方法，其中，所述数据导入任务的数量小于所述多个存储分片的数据导入任务的阈值；和/或，所述多个存储分片的负载小于预设的负载阈值。

10.一种数据导入装置，包括：

分割单元，用于响应于数据导入指令，将待导入数据分割成多个数据分片；

构建单元，用于根据各所述数据分片和列式数据库管理系统的各存储分片构建导入关系，其中，所述导入关系用于指示数据分片与存储分片之间的对应关系；

导入单元，将每一所述数据分片，导入至与数据分片具有对应关系的存储分片中。

11.一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为用于执行如权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至9中任一项所述的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。

14.一种数据导入系统，包括：列式数据库管理系统、以及如权利要求10所述的数据导入装置。