[发明专利]计算装置、计算设备以及用于线程组累加的方法

说明书

本公开的实施例涉及计算装置、计算设备以及用于线程组累加的方法，涉及计算机领域。计算装置包括：存储单元；以及累加计算单元，与存储单元相耦接，被配置为：从与计算装置相耦接的向量处理单元接收第一线程组累加指令、与线程组通道数相对应的多个第一值和第一存储地址；响应于第一线程组累加指令，基于多个第一值生成当前累加结果；以及在存储单元中的第一存储地址中存储当前累加结果，以用于向量处理单元读取。由此，能够将线程组内的累加解耦到专用硬件进行处理，从而显著提升整体累加性能。

技术领域

本公开的实施例总体涉及计算机领域，具体涉及计算装置、计算设备以及用于线程组累加的方法。

背景技术

向量处理单元中可以包括多个线程组(warp)。线程组内经常发生累加。例如，在循环神经网络(Recurrent Neural Network，RNN)中，存在大量的矩阵乘向量(MMV)和加操作。该操作能够在线程组的基础上保持累加结果。最后，需要在线程组内进行累加以生成最终结果。这能够通过以下方式实现：不断交换(shuffle)线程组通道(也称为线程)中的值以及随后对交换的值相加，或者通过使用共享存储单元来进行累加。

无论采用上述哪种方式，都会消耗大量指令来完成，呈现一种“长尾”效应。例如，给定累加维度中的1024个元素，通过16个MMV指令将结果累加到线程组内，随后需要15个指令用于线程组内累加。这造成了高达94％的巨大开销。

发明内容

提供了一种计算装置、计算设备以及用于线程组累加的方法，能够将线程组内的累加解耦到专用硬件进行处理，从而显著提升整体累加性能。

根据本公开的第一方面，提供了一种计算装置。该计算装置包括：存储单元；以及累加计算单元，与存储单元相耦接，被配置为：从与计算装置相耦接的向量处理单元接收第一线程组累加指令、与线程组通道数相对应的多个第一值和第一存储地址；响应于第一线程组累加指令，基于多个第一值生成当前累加结果；以及在存储单元中的第一存储地址中存储当前累加结果，以用于向量处理单元读取。

根据本公开的第二方面，提供了一种计算设备。该计算设备包括根据第一方面所述的计算装置；以及向量处理单元，与计算装置相耦接，被配置为：向计算装置中的累加计算单元发送第一线程组累加指令、与线程组通道数相对应的多个第一值和第一存储地址；以及从计算装置中的存储单元中的第一存储地址读取当前累加结果。

根据本公开的第三方面，提供了用于线程组累加的方法。该方法包括向量处理单元向累加计算单元发送第一线程组累加指令、与线程组通道数相对应的多个第一值和第一存储地址；累加计算单元响应于第一线程组累加指令，基于多个第一值生成当前累加结果；累加计算单元在与累加计算单元相耦接的存储单元中的第一存储地址中存储当前累加结果，以用于向量处理单元读取；以及向量处理单元从存储单元的第一存储地址读取当前累加结果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。

图1是根据本公开的实施例的计算设备100的示意图。

图2是根据本公开的实施例的累加计算单元200的示意框图。

图3是根据本公开的实施例的用于线程组累加的方法300的示意图。

图4示出了根据本公开的实施例的用于生成当前累加结果的方法400的示意图。

图5示出了根据本公开的另一实施例的用于生成当前累加结果的方法500的示意图。

具体实施方式