[发明专利]一种针对图像复原卷积神经网络的压缩方法及装置

说明书

本发明公开了一种针对图像复原卷积神经网络的压缩方法及装置，该方法包括：获取待压缩的图像复原卷积神经网络并以非正方形卷积核的侧窗核代替正方形卷积核，得到侧窗核替换后的卷积神经网络；将侧窗核替换后的卷积神经网络的卷积层分解为通道方向空间卷积和线性投影卷积，得到卷积层分解后的卷积神经网络；基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络。该装置包括存储器以及用于执行上述针对图像复原卷积神经网络的压缩方法的处理器，本发明作为一种针对图像复原卷积神经网络的压缩方法及装置，可广泛应用于网络压缩领域。

技术领域

本发明涉及网络压缩领域，尤其涉及一种针对图像复原卷积神经网络的压缩方法及装置。

背景技术

自从针对图像超分辨率任务设计的3层卷积神经网络SRCNN和针对图像去压缩伪影任务设计的4层卷积神经网络ARCNN被提出后，CNN开始展现其有效性并在图像复原领域占据主导地位，然而，更深的网络具有更多的参数和计算成本，这阻碍了它们在计算和内存资源有限情况下的应用，为了在模型大小、计算效率和性能之间找到一个平衡点，人们提出了各种模型压缩解决方案，现有的大部分模型压缩方法都是针对高级视觉任务，如图像分类、目标检测等，因此直接用于低级视觉任务时可能无法保持良好性能。

发明内容

为了解决上述技术问题，本发明的目的是提供一种针对图像复原卷积神经网络的压缩方法及装置，在提高网络计算效率的同时提升网络输出性能。

本发明所采用的第一技术方案是：一种针对图像复原卷积神经网络的压缩方法，包括以下步骤：

获取待压缩的图像复原卷积神经网络并以非正方形卷积核的侧窗核代替正方形卷积核，得到侧窗核替换后的卷积神经网络；

将侧窗核替换后的卷积神经网络的卷积层分解为通道方向空间卷积和线性投影卷积，得到卷积层分解后的卷积神经网络；

基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络。

进一步，所述侧窗核包括上侧窗核、下侧窗核、左侧窗核和右侧窗核。

进一步，侧窗核替换后的卷积神经网络使用侧窗核卷积的压缩率计算公式如下：

所述CR₁表示使用侧窗核卷积的压缩率，所述N_in表示为输入通道数，所述N_out表示为输出通道数，所述k×k表示为原始卷积核尺寸，所述表示为侧窗核尺寸。

进一步，所述基于对称扩张卷积和注意力机制对卷积层分解后的卷积神经网络进行性能补偿，得到压缩后的图像复原卷积神经网络这一步骤，其具体包括：

获取卷积层分解后的卷积神经网络并按预设规则对卷积层分解后的卷积神经网络中的卷积层设置不同的扩张率；

在卷积层分解后的卷积神经网络网络末端添加注意力块，得到压缩后的图像复原卷积神经网络。

进一步，所述预设规则具体包括扩张卷积的扩张率为对称方式、扩张卷积的扩张率顺序为先增加后减少和扩张卷积中每隔一段插入扩张率为1的卷积层。

进一步，所述注意力块中的注意力机制包括加权步骤和缩放步骤。

进一步，所述加权步骤采用核大小为预设值的卷积层学习注意力图，所述缩放步骤为对输入特征图和注意力图之间进行矩阵点乘，生成输出特征图。

进一步，所述卷积层分解后的卷积神经网络的压缩率计算公式如下：