[发明专利]策略调整方法、数据传输方法、系统、服务器及存储介质

说明书

本发明实施例涉及通信技术领域，公开了一种策略调整方法，包括：获取工作节点的网络状态；若网络状态的变化满足预设条件，则调整工作节点的拓扑策略；将调整后的拓扑策略发送至每一工作节点，其中，工作节点包括一个全局节点、若干局部节点和若干普通工作节点。本发明实施例还公开了一种数据传输方法、系统、服务器及存储介质。本发明实施例提供的策略调整方法、数据传输方法、系统、服务器及存储介质，可以数据传输方案与动态变化的广域网带宽相匹配，提高数据传输的性能。

技术领域

本申请实施例涉及通信技术领域，特别涉及一种策略调整方法、数据传输方法、系统、服务器及存储介质。

背景技术

分布式机器学习是算力网络中的典型业务，为了加速分布式机器学习的训练，需要加速算力网络中数据的汇聚与分发过程，这就要求数据的汇聚与分发与广域网带宽相适应，从而保证数据传输的性能。而广域网带宽通常是一种不稳定的资源，其可能因为工作负载或链路故障等原因随时间的变化而变化，这就要求数据的汇聚与分发与动态变化的广域网带宽相适应，才能有效地发挥数据传输的性能。

然而，目前跨数据中心的数据汇聚与分发采用的是固定的数据传输方案，其负责数据汇聚和分发的节点是在训练之前就已经确定，无论网络带宽变化多大都不会改变，直到训练结束，导致数据传输与动态变化的广域网带宽不匹配，严重降低了数据传输的性能。

发明内容

本申请实施例的主要目的在于提出一种策略调整方法、数据传输方法、系统、服务器及存储介质，可以使数据传输方案与动态变化的广域网带宽相匹配，提高数据传输的性能。

为实现上述目的，本申请实施例提供了一种策略调整方法，应用于调度节点，调度节点连接每一工作节点，工作节点包括一个全局节点、若干局部节点和若干普通工作节点，每一局部节点对应部分普通工作节点，局部节点用于汇聚对应的普通工作节点的数据后发送至全局节点，或将全局节点的数据分发至对应的普通工作节点，方法包括：获取工作节点的网络状态；若网络状态的变化满足预设条件，则调整工作节点的拓扑策略；将调整后的拓扑策略发送至每一工作节点。

为实现上述目的，本申请实施例还提供了一种数据传输方法，应用于工作节点，工作节点包括一个全局节点、若干局部节点和若干普通工作节点，每一工作节点连接调度节点，每一局部节点对应部分普通工作节点，局部节点用于汇聚对应的普通工作节点的数据后发送至全局节点，或将全局节点的数据分发至对应的普通工作节点，方法包括：接收调度节点发送的拓扑策略；将拓扑策略更新至本节点；根据拓扑策略进行数据传输。

为实现上述目的，本申请实施例还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的策略更新方法或上述的数据传输方法。

为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的策略更新方法或上述的数据传输方法。

本申请提出的策略调整方法，通过在工作节点的网络状态变化满足预设条件时，调整工作节点的拓扑策略，并将调整后的拓扑策略发送给工作节点，可以使工作节点的拓扑与动态变化的广域网带宽相匹配，减少瓶颈链路的产生，提高数据传输的性能，同时，通过局部节点汇聚普通工作节点的数据后再发送至全局节点，可以减少汇聚过程中产生的数据量，减少网络拥塞的发生。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本发明实施例提供的策略调整方法的原理结构示意图；

图2是本发明实施例提供的策略调整方法的流程示意图；

图3是本发明实施例提供的策略调整方法中工作节点的拓扑关系示意图；