[发明专利]数据传输方法、装置、处理设备及介质

说明书

本发明实施例基于云技术公开了一种数据传输方法、装置、处理设备及介质，其中方法包括：获取目标对象的计算图中的多个目标节点的可达性信息；根据各目标节点的可达性信息，将至少两个目标节点聚合为目标聚合节点；采用所述目标聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示：所述计算设备按照所述目标聚合节点的指示在所述对象的计算过程中对所述被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合结果。本发明实施例可通过更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

技术领域

本申请涉及互联网技术领域，具体涉及计算机技术领域，尤其涉及一种数据传输方法、一种数据传输装置、一种处理设备及一种计算机存储介质。

背景技术

在数学图论中，图用于表达物体与物体之间的关系的抽象，其主要由用于表示物体的节点和表示物体之间的关系的边组成；其中，每条边都有方向的图可称为有向图(Directed Graph)。随着图技术和互联网技术的发展，计算图应运而生；所谓的计算图又可称为数据流图(Data Flow Graph)，其具体是指用于表征目标对象的数据流计算的有向图。计算图中的节点用于表示在计算目标对象的过程中所涉及的数据处理操作，一个数据处理操作对应一个执行结果数据；计算图中的边用于表示数据处理操作(节点)之间的依赖关系，如数据依赖关系和控制依赖关系。计算图中通常会具有一些特殊的目标节点，这些目标节点用于表示需要传输执行结果数据的数据处理操作。

目前，在计算设备对目标对象进行计算之前，通常会构建该目标对象的计算图，并将构建得到的计算图直接发送至计算设备；使得计算设备在计算目标对象的过程中，每执行一个目标节点所表示的数据处理操作后，便直接传输相应的执行结果数据。这样的数据传输方式会导致数据传输的次数过多，消耗过多的网络资源；并且，通常每次传输都会具有网络延时，这样还会导致传输总时长较长。

发明内容

本发明实施例提供了一种数据传输方法、装置、处理设备及介质，可通过更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

一方面，本发明实施例提供了一种数据传输方法，所述方法包括：

获取目标对象的计算图中的多个目标节点的可达性信息；每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；其中，任一目标节点的可达性信息用于指示：所述任一目标节点沿着所述计算图中的至少一条边到达其他目标节点的能力，以及所述任一目标节点被其他目标节点沿着所述计算图中的至少一条边到达的能力；

根据各目标节点的可达性信息，将至少两个目标节点聚合为目标聚合节点，所述目标聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；

采用所述目标聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示：所述计算设备按照所述目标聚合节点的指示，在所述目标对象的计算过程中对所述被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合结果。

另一方面，本发明实施例提供了一种数据传输装置，所述装置包括：

获取单元，用于获取目标对象的计算图中的多个目标节点的可达性信息；每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；其中，任一目标节点的可达性信息用于指示：所述任一目标节点沿着所述计算图中的至少一条边到达其他目标节点的能力，以及所述任一目标节点被其他目标节点沿着所述计算图中的至少一条边到达的能力；