[发明专利]在主机和设备之间进行数据布局的方法、设备和异构系统

说明书

本披露公开了一种用于在主机和设备之间进行数据布局的方法、设备和异构系统。该设备可以包括在组合处理装置的计算处理装置中，该计算处理装置可以包括一个或多个数据处理装置。前述的组合处理装置还可以包括接口装置和其他处理装置。所述计算处理装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与设备和其他处理装置连接，用于存储该设备和其他处理装置的数据。通过利用本披露的方案，可以有效地实现在主机和设备之间的数据布局。

技术领域

本披露一般地涉及计算机领域。更具体地，本披露涉及用于在主机和设备之间进行数据布局的方法、编译器和用于机器学习的异构系统。

背景技术

随着人工智能技术的不断发展，各种硬件架构和相应算法也不断地演进，以满足日益扩大的应用领域和场景。在机器学习方面，已经出现了多种不同的硬件架构，以适应不同神经网络模型的运算操作。就运算操作而言，以何种方式来对待参与运算的数据进行布局成为需要解决的一个重要方面。当前对于数据布局，存在几种常见的布局方式。以人工布局方式为例，其需要用户来适配特定的硬件架构并且遵循软件的约定，从而增加了人力成本。当在包括主机和设备的异构系统中执行布局时，通常是或者主机端在编译时自动布局，或者由设备端在运行时自动布局。当在主机端自动布局时，这对编译器提出很高的要求，并且这样的布局方式性能较差。而在设备端自动布局时，则对设备端带来显著的工作量，从而有可能造成设备的整体性能下降。

鉴于上文，当前需要一种对数据进行合理布局的方案。

发明内容

至少为了解决上述的一个或多个问题，本披露提出了分布式数据布局方式，即通过有效机制来将数据布局任务合理分配在主机和设备端处，从而在不影响主机和设备性能的情况下，有效地实现数据布局。

为此，在第一方面中，本披露公开了一种用于在主机和设备之间进行数据布局的方法，包括：遍历计算图中的多个数据节点，以确定每个数据节点在所述计算图中的出入度信息，其中每个所述数据节点具有关联的数据；以及根据所述出入度信息来确定由主机和设备中的一个执行针对于所述数据的布局操作。

在第二方面中，本披露公开了一种用于在主机和设备之间进行数据布局的设备，包括：至少一个处理器；至少一个存储器，其用于存储计算机程序指令，当所述计算机程序指令由所述至少一个处理器执行时，使得所述设备执行前述方法及其稍后描述的多个实施例。

在第三方面中，本披露公开了一种计算机可读存储介质，其存储有用于在主机和设备之间进行数据布局的计算机程序指令，当所述计算机程序指令由至少一个处理器来执行时，实现前述方法及其稍后描述的多个实施例。

在第四方面中，本披露公开了一种用于在主机和设备之间进行数据布局的编译器，包括：遍历单元，其配置成对包括多个数据节点的计算图进行遍历，以便确定每个数据节点的出入度信息，其中每个所述数据节点具有关联的数据；以及数据布局优化单元，其配置成根据所述出入度信息来确定由主机和设备中的一个执行针对于所述数据的布局操作。

在第五方面中，本披露公开了一种用于机器学习的异构系统，包括互联的主机和设备，其中所述主机包括：前述及下文多个实施例中将要描述的编译器；以及第一布局单元，其配置成根据所述主机布局指令或所述标签信息来执行数据布局；以及所述设备包括：第二布局单元，其配置成根据从所述主机接收到的所述设备布局指令来执行数据布局。

在第六方面中，本披露公开了一种集成电路设备，包括上述及其稍后多个实施例中描述的编译器。

在第七方面中，本披露公开了一种板卡，包括上述异构系统及其稍后描述的多个实施例。