[发明专利]一种数据加载方法、终端和计算集群

摘要

本发明实施例提供一种数据加载方法、终端和计算集群，涉及通信技术领域，能够降低KeyValue数据库的读写时延，提高KeyValue数据库的查询性能。具体方案为：计算集群接收携带有待加载数据表的分区信息的数据加载请求；根据分区信息确定第一数据分区，分区信息指示的所有分区分别绑定一个第一数据分区；分别获取分区信息指示的每个分区的源数据，对每个分区的源数据分别执行映射任务；根据分区信息指示的分区与第一数据分区的绑定关系，将执行每个映射任务所得的中间数据对应地写入第一数据分区；对每个第一数据分区中的中间数据分别执行归约任务，执行得到每个归约任务的目标文件，目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。

主权项

1.一种数据加载方法，其特征在于，计算集群用于数据加载，查询集群用于KeyValue数据库的数据查询，所述计算集群与所述查询集群为不同集群，所述方法包括：所述计算集群接收数据加载请求，所述数据加载请求携带有待加载数据表的分区信息；所述计算集群根据所述分区信息确定第一数据分区，其中，所述分区信息指示的所有分区分别绑定一个所述第一数据分区；所述计算集群从分布式文件系统中分别获取所述分区信息指示的每个分区的源数据，对每个分区的源数据分别执行映射任务；所述计算集群根据所述分区信息指示的分区与所述第一数据分区的绑定关系，将执行每个映射任务所得的中间数据对应地写入所述第一数据分区；所述计算集群对每个所述第一数据分区中的中间数据分别执行归约任务，执行得到每个归约任务的目标文件，所述目标文件供KeyValue数据库的所述加载数据表进行数据查询使用。