[发明专利]拓扑图转换系统及其方法

说明书

本发明公开了一种将运算逻辑节点拓扑图转换为任务节点拓扑图的方法，包括：通过运算任务节点部署组件，基于用户在给定计算资源的基础上输入的任务描述中的任务配置数据，将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到指定计算资源，从而生成每个运算逻辑节点对应一个或多个运算任务节点，并赋予每个运算任务节点与所述指定计算资源对应的位置标记；以及通过搬运任务节点插入组件，在第一运算任务节点的第一位置标记和作为其上游运算任务节点的第二运算任务节点的第二位置标记之间具有不同的位置标记时在所述第一运算任务节点和第二运算任务节点之间插入一个或多个搬运任务节点，从而获得具有搬运任务节点的完全任务节点拓扑图。

技术领域

本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于将运算逻辑节点托拓扑图转换为任务节点拓扑图的转换系统及其方法。

背景技术

随着分布式计算的普及，大型的作业会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这样为了实现中间参数的数据同步，这会引起计算设备之间的数据迁移的调用开销。而网络通信调用往往是个瓶颈，然后网络性能通信的性能不好，就会影响多机分布式数据处理架构的加速比和扩展性。

随着各种单一计算设备自身的运算功能越来越强大，在提高计算设备的运算速度方面已经处于极致状态。尤其是随着计算速度的提升，数据的调用的速度已经落后于数据的运算速度。因此，数据的调用或迁移成为制约计算设备处理数据的瓶颈。实际上，大部分专用AI芯片的研发人员和用户通常只关注计算部分的功耗和效率，譬如怎么设计AI芯片让它能更高效的执行矩阵运算，然而比较少关注数据迁移，数据转发和路由的需求，在基于多个芯片协同执行大规模任务时，数据迁移无论是从功耗还是延迟都非常显著。

因此，在现有系统中，数据迁移在分布式设备之间的迁移花费了和计算差不多的时间成本。如何降低通信开销，在系统运算时“藏起”这个时间，以便系统可以充分将硬件资源投入到缩短计算时间上，是提高系统效率的关键。此外，在灵活的并行模式(数据并行，模型并行甚至是混合并行)中修改数据路由模式实在是非常复杂。现有的深度学习框架都只是实现模型中的数据流图计算操作，而不在模型的数据流图中进行数据迁移操作。这样做的结果就是，因为数据流图中没有编码这些操作，从而无法展现数据流引擎自动并行的优势，也会因此使软件编程工作在同步编程时陷入所谓的回调陷阱。

因此，如何使得数据搬运或数据交换在分布式数据处理架构中与数据运算一样被重视，从而使得数据搬运或数据交换像数据处理和计算一样被视为一等公民，使得数据的搬运可以实现静态部署，将数据搬运任务固定在特定的搬运执行体中来实现，从而实现数据交换中的异步的通信，以减少两个调用的时间的开销，使得数据搬运和路由可由专用芯片来实现称为可能，从而使得整个系统的效率就能最大化，这些是大规模数据处理领域急需解决的问题。

发明内容

本公开的目的在于提供一种解决至少上述问题之一的技术方案。具体而言，本公开提供一种将运算逻辑节点拓扑图转换为任务节点拓扑图的方法，包括：通过运算任务节点部署组件，基于用户在给定计算资源的基础上输入的任务描述中的任务配置数据，将运算逻辑节点拓扑图中的任意运算逻辑节点的任务分片到指定计算资源，从而生成每个运算逻辑节点对应一个或多个运算任务节点，并赋予每个运算任务节点与所述指定计算资源对应的位置标记；以及通过搬运任务节点插入组件，在第一运算任务节点的第一位置标记和作为其上游运算任务节点的第二运算任务节点的第二位置标记之间具有不同的位置标记时在所述第一运算任务节点和第二运算任务节点之间插入一个或多个搬运任务节点，从而获得具有搬运任务节点的完全任务节点拓扑图。

根据本公开的将运算逻辑节点拓扑图转换为任务节点拓扑图的方法，其中，当第一位置标记指明为第一主机的第一计算设备而第二位置标记指明为第一主机时，所述搬运任务节点插入组件在所述第一运算任务节点和第二运算任务节点之间只插入一个搬运任务节点，并赋予所插入的搬运任务节点第一位置标记。