[发明专利]神经网络运算装置及应用其进行运算的方法

说明书

本公开提供一种神经网络运算装置和方法，其中装置包括：运算部分，用于完成所述卷积运算，包含多个运算单元组，多个所述运算单元组呈X行Y列的阵列式分布，运算单元组间以S形方向和/或逆S形方向传递数据，其中X和Y分别为正整数；缓存，用于向所述运算单元组传送数据以及接收运算单元组运算后的数据。通过采用S形和逆S形在运算单元中完成数据的传递，从而能够有效加速神经网络运算的同时，降低了权值的反复读取和部分和反复存取所带来的访存功耗。

技术领域

本公开涉及计算机领域，进一步涉及人工智能领域。

背景技术

深度神经网络是目前许多人工智能应用的基础，其在语音识别、图像处理、数据分析、广告推荐系统、汽车自动驾驶等多方面得到了突破性的应用，使得深度神经网络被应用在了生活的各个方面。但是，深度神经网络的运算量巨大，一直制约着其更快速的发展和更广泛的应用。当考虑运用加速器设计来加速深度神经网络的运算时，巨大的运算量，必然会带了很大的能耗开销，同样制约着加速器的进一步的广泛应用。

现有常用的方法是使用通用处理器(CPU)。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持神经网络算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另一种已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，片上缓存较小，使得片外带宽成为了主要性能瓶颈，带来了巨大的功耗开销。

发明内容

(一)要解决的技术问题

有鉴于此，本公开的目的在于提供一种可重构的S形运算装置及运算方法，以解决以上所述的至少部分技术问题。

(二)技术方案

根据本公开的一方面，提供一种神经网络运算装置，用于进行卷积运算，包括：

运算部分，用于完成所述卷积运算，包含多个运算单元组，多个所述运算单元组呈X行Y列的阵列式分布，运算单元组间以S形方向和/或逆S形方向传递数据，其中X和Y分别为正整数；

缓存，用于向所述运算单元组传送数据以及接收运算单元组运算后的数据。

在进一步的实施方案中，还包括控制部分，用于对所述运算部分和缓存进行控制，使两者能够相互协作，完成所需功能。

在进一步的实施方案中，每个所述运算单元组包括：多个所述运算单元，呈M行N列的阵列式分布，运算单元间以S形方向和/或逆S形方向传递数据，其中M和N分别为正整数。

在进一步的实施方案中，每个所述运算单元组包括：两个或以上乘法器；两个或以上加法器；所述运算单元内设置有至少一内部存储部分，该内部存储部分与所述乘法器和/或加法器连接。

在进一步的实施方案中，每个运算单元组还包含两个选择器，用于跳过该运算单元中的乘法器和加法器：当该运算单元需要进行运算的时候，选择器选择加法器的结果作为运算单元的输出；或者当该运算单元无需进行运算的时候，选择器直接将输入数据输出。

在进一步的实施方案中，每个运算单元组还用于单独传递数据给缓存部分，还用于在控制部分的控制下，选择不同的输出通路，以实现串行工作或并行工作。

根据本公开的另一方面，提供应用以上任一所述神经网络运算装置进行卷积运算的方法，包括：设定卷积核，卷积核大小为大于一个运算单元组中的运算单元个数；将多个运算单元组组合成为一个运算单元族，使得运算单元族内的运算单元组按照串行的运算方式进行数据传递和运算，运算单元族间按照并行的运算方式进行数据的传递和运算。