[发明专利]用于神经网络处理器的计算方法以及神经网络处理器

说明书

本发明提供用于神经网络处理器的计算方法以及神经网络处理器。所述方法包括：获取输入数据，所述输入数据的输入通道维度小于神经网络处理器的乘法累加器的硬件输入通道维度；对所述输入数据在输入通道中的待读取数据进行重组排列，使得在读取所述输入通道的数据时，跳过所述输入通道的无效数据，以连续读取所述输入数据；以及将所述输入通道的读取的所述输入数据和权重数据对应相乘并累加。通过本发明的用于神经网络处理器的计算方法及神经网络处理器，可以调整神经网络处理器中乘法累加器运算过程中的数据排列方式，有效提高乘法累加器的利用率，降低乘法累加器无效运算占比，同时减少了因无效运算导致的功耗开销。

技术领域

本发明属于嵌入式技术领域，特别地涉及用于神经网络处理器的计算方法以及神经网络处理器。

背景技术

传统嵌入式神经网络处理器(NPU，Neural-network Processing Unit)的乘法累加器(MAC，Multiply Accumulate)在运算时，仅能处理固定尺度(例如16x16)大小对齐的数据。当所需处理数据在输入通道维度上某一维度小于乘法累加器输入通道维度大小对齐量时，将使乘法累加器中的一部分乘累加单元运算无效数据，导致嵌入式神经网络处理器硬件未被完全利用，导致嵌入式神经网络处理器性能表现情况不佳，且带来不必要的功耗开销。

发明内容

本发明的目的在于提供用于神经网络处理器的计算方法以及神经网络处理器，用于对嵌入式神经网络处理器中乘法累加器的利用率进行改善提升，优化嵌入式神经网络处理器性能。

在第一方面，本发明的实施例提供一种用于神经网络处理器的计算方法。该计算方法包括：获取输入数据，所述输入数据的输入通道维度小于神经网络处理器的乘法累加器的硬件输入通道维度；对所述输入数据在输入通道中的待读取数据进行重组排列，使得在读取所述输入通道的数据时，跳过所述输入通道的无效数据，以连续读取所述输入数据；以及将所述输入通道的读取的所述输入数据和权重数据对应相乘并累加。

于本发明的一实施例中，对所述输入数据在输入通道中的待读取数据进行重组排列包括：在高度方向上对所述输入数据的待读取数据进行切分分组，使得读取所述输入通道的数据时，跳过轴向所述输入通道的无效数据，以连续读取高度方向上的所述输入数据。

于本发明的一实施例中，对所述输入数据在输入通道中的待读取数据进行重组排列包括：在宽度方向上对所述输入数据的待读取数据进行切分分组，使得读取所述输入通道的数据时，跳过横向所述输入通道的无效数据，以连续读取宽度方向上的所述输入数据。

于本发明的一实施例中，该计算方法还包括：获取所述权重数据；以及对所述权重数据进行重组排列，包括：复制所述权重数据，使得各读取的所述输入数据分别对应于一份所述权重数据。

于本发明的一实施例中，相同输出通道的各读取的所述输入数据的权重数据相同。

于本发明的一实施例中，该计算方法还包括：获取所述权重数据，所述权重数据包括多份复制数据，各读取的所述输入数据分别对应于一份所述复制数据。

于本发明的一实施例中，将所述输入通道的读取的所述输入数据和权重数据对应相乘并累加包括：将所述输入通道的读取的不同的输入数据分别与各自所对应的权重数据依次相乘后累加，以同时输出多个输出通道的输出数据，其中所述输入通道的读取的相同的输入数据与所述输入通道所所对应的权重数据依次相乘后累加形成一个输出通道的输出数据。

于本发明的一实施例中，将所述输入通道的读取的所述输入数据和权重数据对应相乘并累加包括：针对读取的所述输入数据和权重数据进行卷积运算，以在输出通道输出卷积结果。