[发明专利]深度神经网络硬件加速器与其操作方法

说明书

本公开提供了一种深度神经网络硬件加速器，包括：一处理单元阵列，该处理单元阵列包括多个处理单元群组，各该些处理单元群组包括多个处理单元，其中，该些处理单元群组的一第一处理单元群组和该些处理单元群组的一第二处理单元群组之间的一第一网络连接方式不同于位于该第一处理单元群组内的该些处理单元之间的一第二网络连接方式。

技术领域

本公开是有关于一种深度神经网络硬件加速器(Deep Neural Networks(DNN))与其操作方法。

背景技术

深度神经网络(Deep Neural Networks，DNN)属于人工神经网络(ArtificialNeural Network，ANN)的一环，可用于深度机器学习。人工神经网络可具备学习功能。深度神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别等。

在设计深度神经网络时，需要在传输带宽与计算能力之间取得平衡，以让深度神经网络的效能提升。另外，如何能提供深度神经网络硬件加速器的可扩充性架构(scalability architecture)，亦是业界努力重点之一。

公开内容

根据本公开一实施例，提出一种深度神经网络硬件加速器，包括：一处理单元阵列，处理单元阵列包括多个处理单元群组，各此些处理单元群组包括多个处理单元，其中，此些处理单元群组的一第一处理单元群组和此些处理单元群组的一第二处理单元群组之间的一第一网络连接方式不同于位于第一处理单元群组内的此些处理单元之间的一第二网络连接方式。

根据本公开另一实施例，提出一种深度神经网络硬件加速器的操作方法。深度神经网络硬件加速器包括一处理单元阵列，处理单元阵列包括多个处理单元群组，各此些处理单元群组包括多个处理单元。操作方法包括：由处理单元阵列接收一输入数据；此些处理单元群组的一第一处理单元群组以一第一网络连接方式传送输入数据给此些处理单元群组的一第二处理单元群组；以及于此第一处理单元群组内，此些处理单元之间以一第二网络连接方式传送数据，其中，第一网络连接方式不同于第二网络连接方式。

附图说明

图1A至图1D显示多种网络的架构示意图。

图2A显示根据本公开一实施例的深度神经网络硬件加速器的功能方块图。

图2B显示根据本公开一实施例的深度神经网络硬件加速器的功能方块图。

图3显示根据本公开一实施例的处理单元群组的架构图。

图4显示根据本公开一实施例中，于处理单元阵列内的数据传送示意图。

图5A显示根据本公开一实施例的深度神经网络硬件加速器的功能方块图。

图5B显示根据本公开一实施例的深度神经网络硬件加速器的功能方块图。

图6显示根据本公开一实施例的处理单元群组的架构示意图，以及该些处理单元群组之间的连接方式示意图。

图7显示根据本公开一实施例的处理单元群组的架构示意图。

图8显示根据本公开一实施例的深度神经网络硬件加速器的操作方法流程图。

附图标记说明

110A-110D：缓冲器 120A-120D：处理单元阵列

200、200A：深度神经网络硬件加速器

210：网络分配器 220：处理单元阵列

RI、RF、RIP、ROP：带宽比率

ifmap、filter、ipsum、opsum、ifmapA、filterA、ipsumA、opsumA：数据类型