[发明专利]神经网络装置及其操作方法

说明书

公开神经网络装置及其操作方法。所述神经网络装置包括：片上缓冲存储器，存储神经网络的第一层的输入特征图；计算电路：通过片上缓冲存储器的单端口接收第一层的输入特征图，并且对第一层的输入特征图执行神经网络运算以输出与第一层的输入特征图对应的第一层的输出特征图；和控制器：通过所述单端口将第一层的输出特征图发送到片上缓冲存储器，以将第一层的输出特征图和第一层的输入特征图一起存储在片上缓冲存储器中。

本申请要求于2019年12月9日在韩国知识产权局提交的第10-2019-0162910号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及神经网络装置和神经网络装置的操作方法。

背景技术

神经网络装置是基于计算架构的计算系统。神经网络技术可分析输入数据并从输入数据提取有效信息。

神经网络装置通常需要大量的复杂输入数据的计算。为了使典型的神经网络装置处理大量的计算，通常需要执行从存储器读取大量数据或者向存储写入大量数据的操作以用于计算，因此，由于频繁的存储器访问，大量的能量会被消耗。低功率和高性能系统(诸如，移动装置或物联网(IoT)装置)通常具有有限的资源，因此通常需要减少处理大量数据所需的能量消耗的技术。

发明内容

提供本发明内容以便以简化的形式介绍以下在具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。

在一个总体方面，一种神经网络装置包括片上缓冲存储器、计算电路和控制器。片上缓冲存储器被配置为存储神经网络的第一层的输入特征图。计算电路被配置为：通过片上缓冲存储器的单端口接收第一层的输入特征图，并且对第一层的输入特征图执行神经网络运算，以输出与第一层的输入特征图对应的第一层的输出特征图。控制器被配置为：通过所述单端口将第一层的输出特征图发送到片上缓冲存储器，以将第一层的输出特征图和第一层的输入特征图一起存储在片上缓冲存储器中。第一层的输出特征图被重新用作用于第一层随后的第二层的神经网络运算的输入特征图。

计算电路还可被配置为基于一个或多个运算循环来执行神经网络运算。控制器还可被配置为：在每个周期执行通过所述单端口从片上缓冲存储器读取构成第一层的输入特征图的至少部分的数据的读取操作，所述一个或多个运算循环中的每个运算循环在每个周期中被执行。当在读取操作将被执行的时间用于通过所述单端口将构成第一层的输出特征图的至少部分的数据写入片上缓冲存储器的写入操作被请求时，可优先于读取操作执行写入操作。

控制器可沿不同的方向分配用于存储第一层的输入特征图的片上缓冲存储器的第一存储器地址和用于存储第一层的输出特征图的片上缓冲存储器的第二存储器地址。

控制器可从与片上缓冲存储器的存储空间对应的存储器地址的起点沿第一方向分配第一存储器地址，并且从与片上缓冲存储器的存储空间对应的存储器地址的终点沿与第一方向相反的第二方向分配第二存储器地址。

当被存储在第二存储器地址中的第一层的输出特征图被重新用作第二层的输入特征图时，当与第二层的输入特征图对应的第二层的输出特征图从计算电路输出时，控制器可从所述起点沿第一方向分配用于存储第二层的输出特征图的片上缓冲存储器的第三存储器地址。

神经网络运算可包括卷积运算、激活运算和池化运算。计算电路还可被配置为：将对第一层的输入特征图执行池化运算以及卷积运算和激活运算的结果输出为第一层的输出特征图。

神经网络装置还可包括：权重缓冲存储器，被配置为：存储用于对第一层的输入特征图的神经网络运算的第一层的权重值。权重缓冲存储器可通过权重缓冲存储器的单端口从神经网络装置外部的外部存储器接收第一层的权重值，并且通过权重缓冲存储器的单端口将第一层的权重发送到计算电路。

片上缓冲存储器、计算电路和控制器可安装在单个芯片中。