[发明专利]卷积神经网络特征图数据压缩方法及装置

说明书

本申请公开了卷积神经网络特征图数据压缩方法及装置，该方法包括特征图通道重构阶段和零值比特图编码压缩阶段；特征图通道重构阶段中，使用一维离散余弦变换对特征图通道维进行重构，利用频域过滤器实现高频信息过滤，得到稀疏度高于原特征图的稀疏特征图，然后在零值比特图编码压缩阶段对稀疏特征图进行压缩，得到所述原特征图的最终压缩数据。上述方法利用卷积神经网络的通道冗余，实现将有一定频域特征的通道组重构到一起，提升待传输数据的稀疏度，进而提升了被压缩的潜力，随后使用零值比特图编码压缩对稀疏特征图压缩，提高了压缩率。

技术领域

本申请涉及卷积神经网络技术领域，尤其涉及卷积神经网络特征图数据压缩方法及装置。

背景技术

在机器视觉领域中，以卷积神经网络为特征提取器的网络架构有着优秀的准确率和很高的计算效率。卷积神经网络由数个甚至数百个卷积运算层堆叠连接，以二维平面卷积计算为基础，对图像进行特征提取，得到特征图数据。

实际应用中，通常会将卷积神经网络部署到硬件加速器或者别的低功耗器件中，特征图数据由卷积神经网络中的激活函数产生之后，传输至硬件加速器的片外内存中，其中激活函数包括ReLU激活函数、LeakyReLU激活函数等。硬件加速器在计算时受限于芯片存储空间，不能完整加载所有特征图数据，由于特征图数据量十分大，因此在传输过程中，将反复在硬件加速器芯片上进行读取操作，这不仅对硬件加速器自身计算系统与自身内存之间交互的带宽提出一定的要求，而且也带来了更多的能耗。

由于ReLU激活函数产生的特征图数据具备一定的稀疏性，即大量的值为0，因此在将特征图数据传输至硬件加速器片外内存之前，通常采用零值比特图编码的方式，存储非零值以及使用二进制比特图记录其位置，实现特征图数据的压缩，将压缩后的特征图数据作为计算系统与内存之间交互的直接数据，可以降低数据处理量，减少硬件加速器能耗。

零值比特图编码具有压缩率高的优点，但同时也使得硬件复杂度更高。此外，有少部分硬件加速器提供了LeakyReLU该类激活函数的实现，该类激活函数产生的特征图数据不具备较高的稀疏度，不适合使用前述零值比特图编码的方式进行数据压缩，同时目前也没有适用的、特别硬件高效的压缩方法，一些可用的复杂编码压缩方案如LZW编码、霍夫曼编码等属于硬件开销较大、不适合用硬件实现的方案。因此，如何在实现更高压缩率的同时，还能最大程度降低硬件复杂度成了本领域技术人员亟待解决的问题。

发明内容

为了在提高压缩率的同时最大程度降低硬件复杂度，本申请通过以下实施例公开了卷积神经网络特征图数据压缩方法及装置。

本申请第一方面公开了一种卷积神经网络特征图数据压缩方法，包括特征图通道重构阶段和零值比特图编码压缩阶段；

所述特征图通道重构阶段包括以下步骤：

将原特征图的通道维度从三维切分变化至二维，得到新特征图；

将预设的一维离散余弦变换矩阵与所述新特征图中的张量进行矩阵相乘，得到频域特征图；

对所述频域特征图进行低通滤波，得到稀疏特征图；

所述零值比特图编码压缩阶段包括以下步骤：

获取所述稀疏特征图；

对所述稀疏特征图进行零值比特图编码压缩，得到所述原特征图的最终压缩数据，所述原特征图的最终压缩数据将被存储至硬件加速器的片外内存中。

可选的，所述方法还包括零值比特图解压缩阶段和特征图还原逆变换阶段；

所述零值比特图解压缩阶段包括以下步骤：

读取硬件加速器片外内存中的所述原特征图的最终压缩数据；

对所述原特征图的最终压缩数据进行零值比特图解压缩，得到所述稀疏特征图；