[发明专利]数据副本自适应分布方法、分布式计算系统及相关设备

说明书

本发明实施例提供了数据副本自适应分布方法、分布式计算系统及相关设备，用于实现分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。本发明实施例方法包括：确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为目标数据对象的最佳用户节点；根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径，每一条目标网络路径中包含从第一节点到最佳用户节点依次经过的计算节点的集合；向目标网络路径的计算节点集合中的各个计算节点发送创建目标数据对象副本的请求；在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径。

技术领域

本发明涉及计算机信息处理技术领域，尤其涉及数据副本自适应分布方法、分布式计算系统及相关设备。

背景技术

分布式计算集群中，计算任务可能分发到各个计算节点上。计算任务在运行过程中通常需要处理数据，在最初的分布式计算系统中，数据会被传输至计算任务运行的相应节点上进行处理，随着计算任务、分布式计算集群的规模以及数据量的增大，数据在计算节点之间传输会影响计算任务的运行，以及正常的网络通信，降低分布式计算集群的运行效率。

数据感知调度策略的出现能够缓解数据传输对分布式计算集群运行效率的影响，通过将计算任务对应的数据对象调度到分布式计算集群中存储数据副本的节点附近执行，从而降低数据访问的延迟和网络的消耗。

然而现有方案中的数据感知调度策略是针对本地访问数据，预先确定需要建立副本的数据对象及最佳客户节点，进而将计算任务调度到分布式计算集群中存储数据副本的最佳客户节点附近执行，无法根据用户的需求实时备份不同的数据对象，在高速网络（通常可提供万兆网络带宽）的应用，对于数据的在线访问性能以及网络所能够承载的数据传输速率有了大幅提升，在这种情况下，远程数据访问在网络带宽充足的情况下的性能可以达到甚至超过本地数据访问，因此，传统的数据副本策略对于高速网络环境下的分布式计算集群的性能优化达不到最优的效果，且会造成网络资源利用率的下降。

发明内容

本发明实施例提供了数据副本自适应分布方法、分布式计算系统及相关设备，用于实现分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。

本发明实施例第一方面提供了一种数据副本自适应分布方法，其特征在于，运用于分布式计算系统，所述分布式计算系统包括至少两个计算节点，所述方法包括：

确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为所述目标数据对象的最佳用户节点；

根据网络拓扑确定所述目标数据对象所在的第一节点到所述最佳用户节点的目标网络路径，每一条所述目标网络路径中包含从所述第一节点到所述最佳用户节点依次经过的计算节点的集合；

向所述目标网络路径的计算节点集合中的各个计算节点发送创建所述目标数据对象副本的请求；

判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。

可选的，作为一种可能的实施方式，本发明实施例中所述判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，包括：

判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；

判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；

若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件。