[发明专利]一种神经网络的定点化方法、装置

说明书

本申请公开了一种神经网络的定点化方法，对神经网络进行至少如下之一低比特量化：对神经网络中的卷积层输入激活值进行第一低比特量化，对卷积层中卷积核权值进行第二低比特量化，对神经网络中除了卷积层之外的非卷积功能层，将非卷积功能层的输入激活值进行第三低比特量化；在进行所述任意低比特量化之后，基于当前低比特量化后的神经网络，进行重训练，基于重训练后的神经网络中各低比特量化结果，进行定点化；其中，所述第一低比特、第二低比特、第三低比特均在1比特至8比特以内。本申请使得最终激活值和/或卷积核权值都用低比特定点化表示，可以方便移植到嵌入式平台、专用集成电路之中。

技术领域

本申请涉及计算机技术领域，特别地，涉及一种神经网络的定点化方法。

背景技术

在计算机中数值会按照整型、浮点型等不同类型，占用计算机不同比特位来进行保存，例如浮点数一般用高精度的32bit或者64bit表示，在可允许的精度损失范围内，用更少的比特数，例如4bit、8bit、16bit，来表示浮点数的行为称之为量化，通过动态量化算法，得到的量化后数值取值是离散的。

神经网络是机器学习算法中一种重要的算法，它推动了计算机领域的发展，随着人们不断研究，其算法的计算与存储复杂度也随之增长，不断膨胀的计算复杂度和空间复杂度对计算设备的性能提出了挑战，在保证神经网络目标性能的情形下将神经网络中的各个参数进行量化，成为神经网络应用的基础。

随着神经网络的广泛应用，越来越多的小型化设备例如嵌入式系统需要通过神经网络来实现各种场景应用，受限于硬件资源，减少神经网络被运行时所占用的处理资源成为需求。

发明内容

本申请提供了一种神经网络的定点化方法，以减少神经网络所占用的处理资源。

本申请提供的一种神经网络的定点化方法，该方法包括，

对神经网络进行至少如下之一低比特量化：

对神经网络中的卷积层输入激活值进行第一低比特量化，对卷积层中卷积核权值进行第二低比特量化，

对神经网络中除了卷积层之外的非卷积功能层，将非卷积功能层的输入激活值进行第三低比特量化；

在进行所述任意低比特量化之后，基于当前低比特量化后的神经网络，进行重训练，

基于重训练后的神经网络中各低比特量化结果，进行定点化；

其中，所述第一低比特、第二低比特、第三低比特在1比特至8比特以内。

本申请还提供一种神经网络的定点化装置，该装置包括，

至少如下之一用于对神经网络进行低比特量化的量化模块：

卷积层输入激活值量化模块，对神经网络中的卷积层输入激活值进行第一低比特量化，

卷积层权值量化模块，对卷积层中卷积核权值进行第二低比特量化，

非卷积功能层输入激活值量化模块，对神经网络中除了卷积层之外的非卷积功能层，将非卷积功能层的输入激活值进行第三低比特量化，

重训练模块，在任意所述量化模块进行低比特量化之后，基于当前低比特量化后的神经网络，进行重训练，

定点化模块，基于重训练神经网络中各低比特量化结果，进行定点化；

其中，所述第一低比特、第二低比特、第三低比特均在1比特至8比特以内。

本申请提供的一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述神经网络定点化方法的步骤。