[发明专利]一种运算装置、方法、介质及计算设备

说明书

本发明公开了一种运算装置、方法、介质及计算设备，其中该装置包括编译器、存储器、寄存器，以及控制器，其中，所述存储器用于在所述编译器和所述寄存器的作用下将所述Transformer模型的计算信息编译成规模化数据并储存，所述规模化数据至少包括按照时间和空间编译重组的运算指令及运算数据；所述寄存器用于从所述存储器中不间断的读取所述运算指令，并储存所述运算指令的相关信息；所述控制器用于根据所述寄存器读取的运算指令，以及所述运算指令的相关信息构建控制流，并按照流模式控制所述存储器选择相应的运算数据进行运算。本装置具有运算消耗小、运行速度快的优点。

技术领域

本发明涉及人工智能深度学习领域，尤其涉及一种运算装置、方法、介质及计算设备。

背景技术

Transformer是一种机器学习的模型，目前通常是在传统的通用处理器CPU上，按照逐个运算单元顺序运行的方法，实现Transformer模型的运行，此种方法执行效率较低，且不能体现Transformer模型，大规模并行化的设计理念；另外，还可以在通用图形处理器GPU上运行Transformer模型，其中，同类型的运算可通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令，来进行并行化运算。在上述两种运行方法中，不同的运算在时间上只能顺序运行，而且需要大规模的指令才能完成同类计算的大规模并行化运算，因此数据的传输和指令数目成为了此类运算的瓶颈。

因而，现有的不管是通用处理器CPU还是通用图形处理器GPU，均不能高效且高性能的运行Transformer模型

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种运算装置、方法、介质及计算设备，旨在解决背景技术中所提到的问题。

为实现上述目的，本发明提供一种运算装置，包括：编译器、存储器、寄存器，以及控制器，其中，

所述存储器用于在所述编译器和所述寄存器的作用下将所述Transformer模型的计算信息编译成规模化数据并储存，所述规模化数据至少包括按照时间和空间编译重组的运算指令及运算数据；

所述寄存器用于从所述存储器中不间断的读取所述运算指令，并储存所述运算指令的相关信息；

所述控制器用于根据所述寄存器读取的运算指令，以及所述运算指令的相关信息构建控制流，并按照流模式控制所述存储器选择相应的运算数据进行运算。

可选地，所述计算信息包括图层信息，所述编译器根据依赖关系在时间维度上，将每个图层中的全部运算划分成多条运算链，并根据所述存储器上用于运算的物理空间将所述多条运算链进行并行化处理，并将经过并行化处理后的所述多条运算链编译成所述运算指令。

可选地，所述编译器包括算子融合模块和译码模块；

所述算子融合模块用于根据所述图层信息生成计算逻辑图；

译码模块用于根据所述计算逻辑图，将每个图层中的全部运算，根据依赖关系在时间维度上划分成多条运算链，并根据所述存储器用于运算的物理空间将所述多条运算链进行并行化处理，并将经过并行化处理后的所述多条运算链编译成运算指令集合。

可选地，所述编译器还用于判断所述Transformer模型的实现形式，并根据所述Transformer模型的实现形式，获取所述计算信息。

可选地，所述存储器包括并行存储模块、数据选择模块及异构并行计算模块；

所述并行存储模块用于储存所述规模化数据；

所述数据选择模块用于根据所述控制器的控制流信号，从所述并行存储模块中以流模式选取特定的一组运算数据；