[发明专利]一种张量计算运行方法、装置及运算系统

说明书

本发明实施例提供了一种张量计算运行方法、装置及运算系统。其中，所述方法包括：生成多个计算指令，所述计算指令用于表示张量计算方式；针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端；针对每个计算指令，以该计算指令所对应的设备端的预设运行环境能够解析的封装方式，封装所述计算指令，得到该设备端对应的任务信息；针对每个所述任务信息，向该任务信息所对应的设备端发送该任务信息，以使得所述多个设备端按照所述多个计算指令所表示的张量计算方式并行地进行张量计算。可以通过并行计算的方式充分利用大规模运算的优势，加速张量计算，能够有效提高张量计算的效率。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种张量计算运行方法、装置及运算系统。

背景技术

在一些应用场景中，出于实际需求，具有计算能力的电子设备可以进行一个或多个张量间的计算(下文称张量计算)，如利用训练好的卷积神经网络进行图像识别的过程中，神经网络中的卷积层、池化层、激活层等可以是通过张量计算实现的。

张量计算的复杂度较高，而通用的主机端设备(下文称主机端)往往不具备执行复杂度较高的计算的硬件条件，例如主机端往往不具有性能较高的GPU，如P4(一种GPU型号)、T4(一种GPU型号)、TX1(一种GPU型号)型的GPU。而具有较强计算性能的计算设备(下文称设备端)无法实现计算指令的编译。

因此，相关技术中，可以由主机端和设备端组成运算系统，其中，主机端可以按照需要进行的张量计算进行计算指令的编译，并将编译生成的计算指令发送至设备端，以使得设备端执行该计算指令，从而实现该张量计算。

但是，设备端往往缺少统一的标准，例如一部分设备端可以使用P4型的GPU，另一部分设备端可以使用T4型的GPU，剩余一部分设备端可以使用TX1型的GPU。同一种计算指令难以被所有设备端识别，因此开发人员难以利用多种所使用的GPU类型不同的设备端共同进行张量计算，导致张量计算的效率较低。

发明内容

本发明实施例的目的在于提供一种张量计算运行方法，以实现提高张量计算的运行效率。具体技术方案如下：

在本发明实施例的第一方面，提供了一种张量计算运行方法，应用于运算系统中的主机端，所述运算系统还包括多个设备端，所述方法包括：

生成多个计算指令，所述计算指令用于表示张量计算方式；

针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端；

针对每个计算指令，以该计算指令所对应的设备端的预设运行环境能够解析的封装方式，封装所述计算指令，得到该设备端对应的任务信息；

针对每个所述任务信息，向该任务信息所对应的设备端发送该任务信息，以使得所述多个设备端按照所述多个计算指令所表示的张量计算方式并行地进行张量计算。

在一种可能的实施例中，所述多个计算指令中不同的计算指令用于表示预设张量计算的不同张量计算方式；

所述方法还包括：

针对每个所述计算指令，获取设备端按照该计算指令所表示的张量计算方式完成所述预设张量计算所花费的时长，作为该计算指令的耗时；

确定所述多个计算指令中所述耗时最短的计算指令，作为实现所述预设张量计算时所使用的计算指令。

在一种可能的实施例中，所述针对每个所述计算指令，将所述多个设备端中一个设备端确定为该计算指令对应的设备端，包括：

针对每个所述计算指令，将所述多个设备端中一个未在进行张量计算的设备端确定为该计算指令对应的设备端。

在本发明实施例的第二方面，提供了一种张量计算运行装置，应用于运算系统中的主机端，所述运算系统还包括多个设备端，所述装置包括：