[发明专利]一种运算装置、方法、介质及计算设备

权利要求书

1.一种运算装置，用于执行Transformer模型，包括编译器、存储器、寄存器，以及控制器，其中，

所述存储器用于在所述编译器和所述寄存器的作用下将所述Transformer模型的计算信息编译成规模化数据并储存，所述规模化数据至少包括按照时间和空间编译重组的运算指令及运算数据；

所述寄存器用于从所述存储器中不间断的读取所述运算指令，并储存所述运算指令的相关信息；

所述控制器用于根据所述寄存器读取的运算指令，以及所述运算指令的相关信息构建控制流，并按照流模式控制所述存储器选择相应的运算数据进行运算。

2.如权利要求1所述的运算装置，其中，所述计算信息包括图层信息，所述编译器根据依赖关系在时间维度上，将每个图层中的全部运算划分成多条运算链，并根据所述存储器上用于运算的物理空间将所述多条运算链进行并行化处理，并将经过并行化处理后的所述多条运算链编译成所述运算指令。

3.如权利要求2所述的运算装置，其中，所述编译器包括算子融合模块和译码模块；

所述算子融合模块用于根据所述图层信息生成计算逻辑图；

译码模块用于根据所述计算逻辑图，将每个图层中的全部运算，根据依赖关系在时间维度上划分成多条运算链，并根据所述存储器用于运算的物理空间将所述多条运算链进行并行化处理，并将经过并行化处理后的所述多条运算链编译成运算指令集合。

4.如权利要求3所述的运算装置，其中，所述编译器还用于判断所述Transformer模型的实现形式，并根据所述Transformer模型的实现形式，获取所述计算信息。

5.如权利要求1所述的运算装置，其中，所述存储器包括并行存储模块、数据选择模块及异构并行计算模块；

所述并行存储模块用于储存所述规模化数据；

所述数据选择模块用于根据所述控制器的控制流信号，从所述并行存储模块中以流模式选取特定的一组运算数据；

所述异构并行计算模块用于对所述数据选择模块选取的特定的一组运算数据以流模式进行运算。

6.一种运算方法，用于运算Transformer模型，包括：

获取所述Transformer模型的计算信息；

将所述计算信息编译成规模化数据，所述规模化数据至少包括按照时间和空间编译重组的运算指令及运算数据；

根据所述运算指令，以及每个所述运算指令的相关信息构建控制流；

响应于所述控制流，按照流模式不间断的选择相应的运算数据并完成相应的运算。

7.如权利要求6所述的运算方法，其中，获取所述Transformer模型的计算信息，包括：

判断所述Transformer模型的实现形式；

根据所述Transformer模型的实现形式，获取所述Transformer模型的计算信息。

8.如权利要求6所述的运算方法，其中，将所述计算信息编译成规模化数据，所述规模化数据至少包括按照时间和空间编译重组的运算指令及运算数据，包括：

从所述计算信息中提取图层信息、参数存储信息及运算数据；

对每个图层的运算进行拆解；

按照依赖关系，将每个图层拆解后的运算构建成多条依赖链；

在时间维度上，将每个图层的多条依赖链构建成多条运算链；

在空间维度上，将每个图层的多条运算链进行并行化处理。

9.一种储存介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求6-8中任一项所述的方法。

10.一种计算设备，其特征在于：所述计算设备包括处理器，所述处理器用于执行储存器中储存的计算机程序时实现如权利要求6-8中任一项所述的方法。