[发明专利]加载数据的方法、装置、计算机设备和存储介质

说明书

本申请涉及一种加载数据的方法、系统、计算机设备和存储介质。所述方法包括：获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。上述加载数据的方法、装置、计算机设备和存储介质，能够实现了提升数据同步效率、缩短数据同步时间的技术效果，规避了主节点服务器的性能瓶颈。

技术领域

本申请涉及互联网技术领域，特别是涉及一种加载数据的方法、装置、计算机设备和存储介质。

背景技术

随着互联网行业的发展，累计了海量的信息和数据。为了满足处理海量数据的需求，出现了采用分布式数据库系统的大数据解决方案。通过借助于分布式计算思想，大数据集群采用大规模并行处理架构在软件上实现了基于数据库的分布式数据存储和并行计算。分布式大数据集群主要由数据主节点(master host)、数据节点(segment host)、高速网络(interconnect)三大部分组成。

在传统技术中，在将关系型数据库中的源数据传输给集群的数据仓库时，首先，数据主节点接收关系型数据库中的源数据，然后，数据主节点将源数据分配给各个数据节点。

然而，数据仓库须通过主节点进行数据同步，主节点服务器性能将会影响数据同步效率，且主节点服务器的性能存在瓶颈，那么随着数据量的增加，同步数据的时间也呈指数增长。即数据仓库通过主节点进行数据传输的传统方法会存在数据同步效率底下的问题。

发明内容

基于此，有必要针对上述数据仓库通过主节点进行数据传输的传统方法会存在数据同步效率底下的技术问题，提供一种能够提高数据同步效率的加载数据的方法、装置、计算机设备和存储介质。

一种加载数据的方法，所述方法包括：获取可执行文件的运行指令；根据所述可执行文件的运行指令，获取集群中数据节点的信息，所述数据节点的信息包括数据节点的数量；根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点。

在其中一个实施例中，所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点的数量，对所述待分配数据进行均分；将所述均分后的数据加载至相应的数据节点。

在其中一个实施例中，所述数据节点的信息还包括所述可执行文件对应的当前数据节点的标识；所述根据所述集群中数据节点的数量，将待分配数据加载至相应的数据节点，包括：根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点。

在其中一个实施例中，所述根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点，包括：根据所述集群中数据节点的数量，对所述待分配数据进行均分；根据所述当前数据节点的标识，将所述均分后的数据加载至与所述当前数据节点的标识对应的数据节点。

在其中一个实施例中，所述方法还包括：获取待分配数据的数据标识；所述根据所述集群中数据节点的数量和所述当前数据节点的标识，将所述待分配数据加载至与所述当前数据节点的标识对应的数据节点，包括：根据所述集群中数据节点的数量和所述数据标识，对所述待分配数据进行分配，并加载至与所述当前数据节点的标识对应的数据节点。

在其中一个实施例中，所述根据所述集群中数据节点的数量和所述数据标识，对所述待分配数据进行分配，并加载至与所述当前数据节点的标识对应的数据节点，包括：对所述数据标识和所述集群中数据节点的数量进行取模运算，获取余数；判断所述余数与所述当前数据节点的标识之间的对应关系；当所述余数与所述当前数据节点的标识满足预设条件时，将与所述数据标识对应的数据加载至所述当前数据节点。