[发明专利]一种平衡二值化神经网络量化方法及系统

权利要求书

1.一种平衡二值化神经网络量化方法，其特征在于包括如下步骤：

S1，对于神经网络中的权重进行平衡标准二值化操作，得到二值化权重；

S2，对于神经网络中的激活值进行平衡二值化操作，得到二值化激活值；

S3，在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络。

2.如权利要求1所述的平衡二值化神经网络量化方法，其特征在于对于神经网络中的权重进行平衡标准二值化操作，得到二值化权重，包括如下步骤：对于神经网络中的原始权重，以卷积核为单位计算权重的均值；

对各卷积核中的权重做减均值和标准化操作，获得全精度平衡标准化权重后使用符号函数得到二值化权重。

3.如权利要求2所述的平衡二值化神经网络量化方法，其特征在于对各卷积核中的权重做减均值和标准化操作，获得全精度平衡标准化权重后使用符号函数得到二值化权重，包括如下步骤：

对卷积核中的所有元素做减均值操作得到第一中间结果；

计算第一中间结果的标准差，并对中的所有元素做标准化操作得到第二中间结果；

对第二中间结果中的所有元素使用符号函数得到二值化权重。

4.如权利要求1所述的平衡二值化神经网络量化方法，其特征在于对于神经网络中的激活值进行平衡二值化操作，得到二值化激活值，包括如下步骤：

对于神经网络中的激活值，对于每个通道，计算该通道的均值并对该通道中的所有元素做减均值操作；

对激活值中的所有元素使用符号函数得到二值化激活值。

5.如权利要求1所述的平衡二值化神经网络量化方法，其特征在于：

二值化权重中的元素服从伯努利分布且方差为1；

二值化激活值中的元素服从伯努利分布。

6.如权利要求1所述的平衡二值化神经网络量化方法，其特征在于在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络，包括如下步骤：

在训练过程中，保存权重的全精度副本，在网络前向推断过程中对神经网络中的权重进行平衡标准二值化操作，对激活值进行平衡二值化操作，采用生成的二值化权重和二值化激活值进行神经网络推断；

在网络反向传播过程中，使用全精度梯度更新网络中权重的全精度副本，并通过最小化损失函数来迭代优化网络中的参数。

7.如权利要求6所述的平衡二值化神经网络量化方法，其特征在于在网络反向传播过程中，使用全精度梯度更新网络中权重的全精度副本，包括如下步骤：

计算神经网络梯度；

更新网络中的权重v，采用如下公式：

其中，η代表网络训练时的学习率。

8.如权利要求7所述的平衡二值化神经网络量化方法，其特征在于计算神经网络梯度，采用如下公式：

其中，L为损失函数；x为激活值；z为输出激活值；v为原始权重；w为全精度平衡标准化权重；Bw为平衡标准二值化权重；Bx为平衡二值化激活值。

9.如权利要求6所述的平衡二值化神经网络量化方法，其特征在于通过最小化损失函数来迭代优化网络中的参数，采用如下公式：

其中，Bw表示二值化权重；Qa(z)表示该层神经元输出的量化后的激活值；表示包含Bw的损失函数，f(I；B_w)为神经网络的推断值，I为样本的输入，y为样本的真实标签；D为样本输入和样本标签组成的键值对集合；表示量化后的激活值的信息熵，信息熵的计算公式可以表示为：

其中，p为Qa(z)取值为1的概率，0<p<1。

10.一种平衡二值化神经网络量化系统，其特征在于包括处理器和存储器；所述存储器上存储有可用在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时实现如下步骤：

S1，对于神经网络中的权重进行平衡标准二值化操作，得到二值化权重；

S2，对于神经网络中的激活值进行平衡二值化操作，得到二值化激活值；

S3，在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络。