[发明专利]神经网络计算的方法、电子设备、计算机可读介质

说明书

本公开提供了一种神经网络计算的方法，其包括：将权重矩阵分为多组，将各组中的非零权重分别存储在对应的内存片中；其中，权重矩阵为神经元的连接权重矩阵；每个组包括权重矩阵的多个连续列；内存片与组一一对应，其中存储有非零权重的值和位置；重复进行以下乘法操作：将各内存片中当前行的非零权重分别输入至解压器，解压器在各组的当前行中无非零权重的位置补充零权重得到各组的还原当前行，并将各还原当前行分别输入至对应的乘法器阵列；将输入数据中对应当前行的数据分别输入至各乘法器阵列；将每次乘法操作中各乘法器阵列输出的乘法结果累加，以计算输出数据。本公开还提供一种电子设备、计算机可读介质。

技术领域

本公开涉及神经网络技术领域，特别涉及一种神经网络计算的方法、电子设备、计算机可读介质。

背景技术

在神经网络的使用过程中，权重矩阵的计算占据了很大的计算量。例如，在基于LIF(Leaky Integrity-and-Fire，线性积分放电)模型的脉冲神经网络中，权重矩阵的突触积分计算是主要的负载。

由此，权重矩阵的计算需要占据较大的内存空间、访问带宽、计算资源等，导致其计算开销较大。

发明内容

本公开提供一种神经网络计算的方法、电子设备、计算机可读介质。

第一方面，本公开实施例提供一种神经网络计算的方法，其包括：

将权重矩阵分为多组，将各组中的非零权重分别存储在对应的内存片中；其中，权重矩阵为神经元的连接权重矩阵；每个组包括权重矩阵的多个连续列；内存片与组一一对应，其中存储有非零权重的值和位置；

重复进行以下乘法操作：将各内存片中当前行的非零权重分别输入至解压器，解压器在各组的当前行中无非零权重的位置补充零权重得到各组的还原当前行，并将各还原当前行分别输入至对应的乘法器阵列；将输入数据中对应当前行的数据分别输入至各乘法器阵列；

将每次乘法操作中各乘法器阵列输出的乘法结果累加，以计算输出数据。

在一些实施例中，所述神经网络为脉冲神经网络，所述权重矩阵为突触连接权重矩阵。

在一些实施例中，在所述将权重矩阵分为多组前，还包括：

将权重矩阵中部分列的位置互换；

和/或，

将权重矩阵中部分行的位置互换。

在一些实施例中，所述权重矩阵的稀疏度大于或等于50％。

在一些实施例中，任意两个组间稀疏度的差别不超过10％。

在一些实施例中，任意组的列数相同。

在一些实施例中，所述非零权重的位置为非零权重在其所在组中的偏移。

在一些实施例中，至少部分所述乘法器阵列为复用乘法器阵列；

每个所述复用乘法器阵列中乘法器的个数小于其对应的组的列数，并通过其中至少部分乘法器的分时复用实现复用乘法器阵列。

在一些实施例中，所述将每次乘法操作中各乘法器阵列输出的乘法结果累加包括：将每次乘法操作中各乘法器阵列输出的乘法结果分别输入至对应的累加器，累加器将所述乘法结果累加。

在一些实施例中，所述将各内存片中当前行的非零权重分别输入至解压器包括：

各内存缓冲区分别从对应的内存片获取非零权重，并根据获取的非零权重的位置确定当前行中的非零权重，将当前行中的非零权重输入至解压器。

在一些实施例中，所述乘法操作还包括：