[发明专利]加速引擎及处理器

说明书

一种加速引擎及处理器，加速引擎包括：控制序列发生器、预取缓存器、输入缓存器、乘法累加阵列以及输出缓存器，其中：控制序列发生器，与所述预取缓存器、所述输入缓存器以及所述输出缓存器耦接；预取缓存器，与CPU集群中的二级缓存以及所述输入缓存器耦接；输入缓存器，与乘法累加阵列耦接，适于从所述预取缓存器中读取所缓存的数据并缓存；乘法累加阵列，与输出缓存器耦接，适于对所述输入缓存器中缓存的数据进行乘法累加运算，并将运算结果输出至所述输出缓存器；输出缓存器，与所述二级缓存耦接，适于缓存所述乘法累加阵列输出的运算结果，以及将所缓存的运算结果输出至所述二级缓存。上述方案能够提高加速引擎的性能。

技术领域

本发明涉及处理器领域，尤其涉及一种加速引擎及处理器。

背景技术

机器学习(Machine Learning)加速引擎(Acceleration Engine)已经成为最为热门的研究课题之一。例如，谷歌公司推出的高性能处理器(Tensor Processing Unit，TPU)，利用收缩阵列来提高计算推理能力以及吞吐量。英伟达(NVIDIA)公司采用基于加速引擎的图形处理器(Graphics Processing Unit，GPU)已经广泛应用在深度学习中的推断应用。

现有的加速引擎的运算性能较差。

发明内容

本发明实施例解决的是加速引擎的运算性能较差的问题。

为解决上述技术问题，本发明实施例提供一种加速引擎，包括：控制序列发生器、预取缓存器、输入缓存器、乘法累加阵列以及输出缓存器，其中：所述控制序列发生器，与所述预取缓存器、所述输入缓存器以及所述输出缓存器耦接，适于向所述预取缓存器发送第一数据读取指令、向所述输出缓存器发送数据输出指令、向所述输入缓存器发送第二数据读取指令；所述预取缓存器，与所述控制序列发生器、CPU集群中的二级缓存以及所述输入缓存器耦接，适于在接收到所述第一数据读取指令时，从所述二级缓存中读取数据并缓存；所述输入缓存器，与所述控制序列发生器、所述预取缓存器以及所述乘法累加阵列耦接，适于在接收到所述第二数据读取指令时，从所述预取缓存器中读取所缓存的数据并缓存；所述乘法累加阵列，与所述输入缓存器以及所述输出缓存器耦接，适于对所述输入缓存器中缓存的数据进行乘法累加运算，并将运算结果输出至所述输出缓存器；所述输出缓存器，与所述乘法累加阵列、所述二级缓存以及所述控制序列发生器耦接，适于缓存所述乘法累加阵列输出的运算结果，以及在接收到所述数据输出指令时将所缓存的运算结果输出至所述二级缓存。

可选的，所述加速引擎还包括：数据格式转换器，耦接在所述预取缓存器与所述输入缓存器之间，适于将所述预取缓存器输出的数据格式转换成所述输入缓存器支持的数据格式。

可选的，所述输入缓存器，适于在接收到所述第二数据读取指令时，读取所述数据格式转换器输出的数据。

可选的，所述预取缓存器，还包括：旋转器；所述旋转器适于对所述预取缓存器从所述二级缓存中依次读取到的两组长度为N比特的数据进行旋转移动，使得旋转移动后的所述读取到的两组长度为N比特的数据行对齐；所述预取缓存器的读端口数据宽度与写端口数据宽度均为2N比特；N为正整数。

可选的，所述数据格式转换器与所述输入缓存器一一对应。

可选的，所述乘法累加阵列，与所述输出缓存器耦接，还适于将所述输入缓存器中缓存的数据与所述输出缓存器中最新存入的运算结果进行乘法累加运算。

可选的，所述加速引擎还包括：存储器，与所述输出缓存器耦接；所述输出缓存器，还适于在其中存储的运算结果的个数大于预设值时，将其中存储的运算结果输出至所述存储器。

本发明实施例还提供了一种处理器，所述加速器包括上述任一种所述的加速引擎。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：