[发明专利]卷积神经网络训练8位张量表示方法及系统

说明书

本发明提供了一种卷积神经网络训练8位张量表示方法及系统，包括：步骤S1：张量分成低比特张量部分和共享阶码数组；步骤S2：使用SP8表示方法表示低比特张量部分的数值；步骤S3：使用按通道分配共享阶码的共享阶码管理方法共享阶码部分；步骤S4：将张量表示方法应用于卷积神经网络训练时卷积部分的前向传播与反向传播。本发明有效降低卷积神经网络训练时的存储开销与计算开销；本发明具有比现有8位张量表示方法更高的神经网络训练精度。

技术领域

本发明涉及人工智能领域，具体地，涉及一种卷积神经网络训练8位张量表示方法及系统。

背景技术

神经网络技术是人工智能的一个重要分支，而神经网络种类较多，有卷积神经网络(CNN)、循环神经网络(RNN)、脉冲神经网络(SNN)等。其中，卷积神经网络由于其权重共享、提取区域特征等特性在图像分类、目标检测、语义分割等应用领域有着重要的地位。

卷积神经网络的训练由多个周期组成，每个周期可以分成三个主要步骤：前向传播、反向传播与权重更新。前向传播时卷积层神经网络的卷积层会根据输入激活(inputactivation)与权重(weight)进行卷积运算得到输出激活(output activation)。反向传播时卷积层会根据输入激活与输出激活梯度(output activation gradient)卷积得到权重梯度(weight gradient)，并通过转置后的权重与输出激活梯度卷积得到输入激活梯度(input activation gradient)。权重更新即通过反向传播时得到的权重梯度基于一定的梯度下降算法去更新神经网络的权重。

神经网络的训练通常使用单精度浮点数(single-precision floating-pointformat)作为运算时的数值表示方法，它由1比特符号位8比特阶码位和23比特尾数位总共32位组成。现阶段有用更低比特位的数值表示方法应用于卷积神经网络训练，但一般只将低比特数值表示方法应用于训练时卷积层的前向传播与反向传播，因为其他层级如归一化层可能有更高的精度需求，权重更新阶段也有着高精度需求。

卷积神经网络的训练是一个计算密集型与存储密集型的任务，需要上亿级的浮点操作与千兆字节的存储。通过对训练时张量(tensor)进行低比特表示可以显著减少训练的存储需求与计算需求，通常为了将张量进行低比特表示需要辅助方法如共享阶码(sharedexponent)与损失缩放(loss scaling)将张量转换到低比特数值表示方法可以表示的数值范围，但将张量进行低比特表示也往往会对卷积神经网络训练的精度有所影响。

针对这些技术挑战，本文提出了按通道分配共享阶码，并由1比特符号位1比特以4为底的阶码位和6比特尾数位组成的8位张量表示方法。

专利文献CN111340186A(申请号：CN202010095808.8)公开了一种基于张量分解的压缩表示学习方法，该方法首先将通过一个微型神经网络预处理学习到的表示转化为一个待分解的张量，基于优化算法进行张量分解，求解其子空间并进行低秩重建，最后经过另一个微型神经网络加工张量分解抽取的低秩表示，融合到主干网络学习的表示中，起到正则的作用；并结合截断的单步梯度优化方法，用于改进具有多步沿时间轴迭代模型的优化算法。但该发明神经网络训练精度不足。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种卷积神经网络训练8位张量表示方法及系统。

根据本发明提供的一种卷积神经网络训练8位张量表示方法，包括：

步骤S1：卷积神经网络训练中，将张量分成低比特张量部分和共享阶码数组；

步骤S2：使用SP8表示方法表示低比特张量部分的数值；

步骤S3：使用按通道分配共享阶码的共享阶码管理方法共享阶码部分；

步骤S4：将张量表示方法应用于卷积神经网络训练时卷积部分的前向传播与反向传播。