[发明专利]一种数据传输方法、装置、处理设备及介质

说明书

本申请实施例公开了一种数据传输方法、装置、处理设备及介质，涉及云计算，其中方法包括：获取目标对象的计算图中的至少两个目标节点的调度时长和通信量，按照调度时长将通信量满足通信量条件的目标节点聚合为聚合节点，采用聚合节点更新计算图，并将更新后的计算图发送至计算设备，更新后的计算图用于指示计算设备按照聚合节点的指示，在目标对象的计算过程中对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合后的数据。本申请实施例可通过各个目标节点的调度时长更新计算图，并基于更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

技术领域

本申请涉及互联网技术领域，具体涉及计算机技术领域，尤其涉及一种数据传输方法、一种数据传输装置、一种处理设备及一种计算机存储介质。

背景技术

在数学图论中，图用于表达物体与物体之间的关系的抽象，其主要由用于表示物体的节点和表示物体之间的关系的边组成；其中，每条边都有方向的图可称为有向图(Directed Graph)。随着图技术和互联网技术的发展，计算图应运而生；所谓的计算图又可称为数据流图(DataFlowGraph)，其具体是指用于表征目标对象的数据流计算的有向图。计算图中的节点用于表示在计算目标对象的过程中所涉及的数据处理操作，一个数据处理操作对应一个执行结果数据；计算图中的边用于表示数据处理操作(节点)之间的依赖关系，如数据依赖关系和控制依赖关系。计算图中通常会具有一些特殊的目标节点，这些目标节点用于表示需要传输执行结果数据的数据处理操作。

目前，在计算设备对目标对象进行计算之前，通常会构建该目标对象的计算图，并将构建得到的计算图直接发送至计算设备；使得计算设备在计算目标对象的过程中，每执行一个目标节点所表示的数据处理操作后，便直接传输相应的执行结果数据。这样的数据传输方式会导致数据传输的次数过多，消耗过多的网络资源；并且，通常每次传输都会具有网络延时，这样还会导致传输总时长较长。

发明内容

本申请实施例提供了一种数据传输方法、装置、处理设备及介质，可通过各个目标节点的调度时长更新计算图，并基于更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

一方面，本申请实施例提供了一种数据传输方法，所述方法包括：

获取目标对象的计算图中的至少两个目标节点的调度时长和通信量，每个目标节点用于表示目标对象在计算过程中需要被执行的一个数据处理操作，且每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；

按照调度时长将至少两个目标节点中的通信量满足通信量条件的目标节点聚合为聚合节点，聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；

采用聚合节点更新计算图，并将更新后的计算图发送至计算设备，更新后的计算图用于指示：计算设备按照聚合节点的指示，在目标对象的计算过程中对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合后的数据。

另一方面，本申请实施例提供了一种数据传输装置，所述装置包括：

获取模块，用于获取目标对象的计算图中的至少两个目标节点的调度时长和通信量，每个目标节点用于表示目标对象在计算过程中需要被执行的一个数据处理操作，且每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；

聚合模块，用于按照调度时长将至少两个目标节点中的通信量满足通信量条件的目标节点聚合为聚合节点，聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；

更新模块，用于采用聚合节点更新所述计算图；