[发明专利]用于量化神经网络的参数的方法和装置

说明书

提供了一种由神经网络量化装置执行的量化神经网络的参数的方法，该方法包括：获得在学习或推断神经网络时使用的浮点格式的参数；应用定点格式的小数长度，以及为了根据量化后要被丢弃的比特值之中的最高有效比特来确定是否舍入定点，通过使用整数算术逻辑单元(ALU)来执行运算；以及基于该运算的结果，将浮点格式的参数量化为定点格式的参数。

相关申请的交叉引用

本申请要求于2017年10月19日在韩国知识产权局提交的韩国专利申请No.10-2017-0135868的权益，该申请的公开内容通过引用全部并入本文中。

技术领域

本公开涉及一种用于量化神经网络的参数的方法和装置。

背景技术

神经网络是指对生物脑进行建模的计算架构。随着神经网络技术的最新发展，各种类型的电子系统通过使用神经网络来分析输入数据并提取有效信息。

最近，已经积极地进行了用于有效利用具有低功率的深度神经网络(DNN)的硬件加速器的研究。用于处理神经网络的装置需要对复杂输入数据的大量运算。

具体地，为了通过使用神经网络实时分析大量输入数据并提取期望信息，在以低功率和低性能实现的设备中需要有效处理与神经网络有关的运算的技术。

发明内容

提供了用于量化神经网络的参数的方法和装置。

提供了一种其上记录有计算机程序的非暂时性计算机可读记录介质，该计算机程序在由计算机执行时执行各方法。

其它方面部分地将在以下描述中阐述，且部分地将通过以下描述而变得清楚明白，或者可以通过对实施例的实践来获知。

根据实施例的一个方面，由神经网络量化装置执行的量化神经网络的参数的方法包括：获得在学习或推断神经网络时使用的浮点格式的参数；应用定点格式的小数长度，以及为了根据量化后要被丢弃的比特值之中的最高有效比特来确定是否舍入定点，通过使用整数算术逻辑单元(ALU)来执行运算；以及基于所述运算的结果，将浮点格式的参数量化为定点格式的参数。

根据另一实施例的方面，一种用于量化神经网络的参数的神经网络量化装置包括：存储器，被配置为存储至少一个程序；以及处理器，被配置为通过执行至少一个程序来量化神经网络的参数。处理器被配置为获得在学习或推断神经网络时使用的浮点格式的参数；应用定点格式的小数长度，以及为了根据量化后要被丢弃的比特值之中的最高有效比特来确定是否舍入定点，通过使用整数算术逻辑单元(ALU)来执行运算，以及基于运算的结果将浮点格式的参数量化为定点格式的参数。

根据另一实施例的方面，一种非暂时性计算机可读记录介质上记录有计算机程序，该计算机程序在由计算机执行时执行上述方法。

附图说明

通过以下结合附图对实施例的描述，这些和/或其他方面将变得明确并且更容易理解，在附图中：

图1示出了根据实施例的神经网络将浮点格式的参数量化为定点格式的参数的示例；

图2示出了根据实施例的在神经网络中执行的运算；

图3是示出了根据实施例的神经网络推断装置的硬件结构的框图；

图4示出了根据实施例的浮点和定点；

图5是根据实施例的由神经网络量化装置执行的量化神经网络的参数的方法的流程图；

图6是用于说明根据实施例的在将浮点量化为定点期间执行比特操纵运算和整数运算的示例的示意图；

图7是用于说明根据实施例的在将浮点量化为定点的同时执行比特数的舍入和调整的示例的示意图；以及