[发明专利]具有脉动阵列的神经网络计算设备

说明书

本公开涉及一种神经网络计算设备，该神经网络计算设备包括：第一处理块，包括多个处理单元，每个处理单元对输入数据和权重执行矩阵乘法运算；以及第二处理块，包括多个逐元素运算处理组。逐元素运算处理组选择性地执行第一神经网络计算操作和第二神经网络计算操作。第一神经网络计算操作包括对输入数据和权重的矩阵乘法运算以及对矩阵乘法运算的结果值的激活运算，并且第二神经网络计算操作包括对从第一处理块传送的矩阵乘法运算的结果值的激活运算以及逐元素运算。

相关申请的交叉引用

本申请要求于2020年4月10日向韩国知识产权局提交的申请号为10-2020-0044192的韩国申请的优先权，该韩国申请通过引用整体并入本文。

技术领域

各个实施例总体上涉及一种神经网络计算设备，并且特别地，涉及一种具有脉动阵列的神经网络计算设备。

背景技术

神经网络是使用至少一个非线性单元层以便预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括至少一个隐藏层。

每个隐藏层的输出用作网络的下一层(即，下一隐藏层或输出层)的输入。网络的每一层根据各自参数集的当前值从所接收的输入生成输出。诸如针对时间系列问题或序列间学习而设计的神经网络(例如，递归神经网络(RNN))的一些神经网络包括递归循环(recurrent loop)，该递归循环允许记忆以隐藏状态变量的形式保留在数据输入之间的层中。

作为改进的RNN的长短期记忆(LSTM)神经网络在每一层中包括多个门，以便控制数据输入之间的数据持久性。

LSTM神经网络使用矩阵乘法运算和逐元素运算(element-wise operation)。脉动阵列可以有效地执行矩阵乘法运算，但是对于逐元素运算可能用处不大。因此，脉动阵列可以包括单独的专用逐元素运算块。

在这种情况下，当脉动阵列运行诸如多层感知器(MLP)或卷积神经网络(CNN)的不使用逐元素运算的其它神经网络时，该逐元素运算块的资源被浪费。

发明内容

各个实施例旨在提供一种具有脉动阵列的神经网络计算设备，在该神经网络计算设备中可以进行逐元素运算。

在实施例中，一种神经网络计算设备可以包括：第一处理块，包括多个处理单元，每个处理单元对输入数据和权重执行矩阵乘法运算；以及第二处理块，包括多个逐元素运算处理组。逐元素运算处理组选择性地执行第一神经网络计算操作和第二神经网络计算操作。第一神经网络计算操作包括对输入数据和权重的矩阵乘法运算以及对矩阵乘法运算的结果值的激活运算，并且第二神经网络计算操作包括对从第一处理块传送的矩阵乘法运算的结果值的激活运算以及逐元素运算。

在实施例中，一种神经网络计算设备可以包括：脉动阵列，其中输出对输入数据和权重的运算结果的多个处理单元以矩阵形式布置。脉动阵列可以包括：多个第一处理单元，每个第一处理单元被配置为对输入数据和权重执行矩阵乘法运算；以及多个第二处理单元，每个第二处理单元被配置为执行从对输入数据和权重的矩阵乘法运算与对从多个第一处理单元传送的输出数据的逐元素运算中选择的一种运算。

根据实施例，因为在脉动阵列中可以进行逐元素运算，所以不需要为逐元素运算单独地提供专用块，从而不会发生资源浪费。

附图说明

图1示出根据实施例的神经网络计算设备的结构。

图2示出图1的脉动阵列的配置。

图3A示出处理单元的结构。

图3B示出根据实施例的逐元素运算处理单元的结构。

图4示出诸如可以在实施例中执行的长短期记忆(LSTM)神经网络算法的结构。

图5示出根据实施例的逐元素运算处理组的结构。