[发明专利]一种对抗生成神经网络压缩方法

权利要求书

1.一种生成对抗神经网络压缩方法，包括如下步骤：

(1)获得将要压缩的生成对抗网络，并将其作为教师网络；

(2)构建最大学生网络模型并预训练；

(3)学生网络模型剪枝；

(4)学生网络模型蒸馏。

2.如权利要求1所述的一种生成对抗神经网络压缩方法，其特征在于：步骤(1)通过自行构建生成对抗网络。

3.如权利要求1所述的一种生成对抗神经网络压缩方法，其特征在于：步骤(1)使用工业上广泛使用的生成对抗网络来作为教师网络。

4.如权利要求1所述的一种生成对抗神经网络压缩方法，其特征在于：步骤(2)设置最大学生网络模型为教师网络修改以下部分：

(2.1)修改主干网络的残差块结构：

(2.2)降低主干网络宽度：将主干网络每层卷积层按比例进行缩减；

(2.3)增加主干网络的残差块层数。

5.如权利要求4所述的一种生成对抗神经网络压缩方法，其特征在于：步骤(2.1)具体包括：将教师网络中的标准残差块中的卷积层替换为特制的三个卷积层，其由膨胀卷积层、深度卷积层、线性映射层组成；膨胀卷积层：卷积核尺寸为1*1。作用为将输入特征的通道数增加，从低维空间映射到高维空间，便于在高维空间提取特征；深度卷积层：卷积核尺寸为3*3。该层为组卷积层，分组数目等于该卷积层输入通道数目；线性映射层：卷积核尺寸为1*1。将特征的通道数降低，从高维空间映射到低维空间，便于后续层的处理；

设残差块卷积层的输入、输出通道数为128，则标准残差块卷积层的参数量为：128*128*3*3＝147456；若膨胀系数为2，则特制残差块卷积层的参数量为：128*128*2*1*1+128*2*3*3+128*2*128*1*1＝67840，该改变使得残差块达到两倍以上参数量压缩效果；

步骤(2.3)具体包括：以cyclegan为例，教师网络的主干网络中共有18层残差块，学生网络的主干网络中可增加为24层残差块；在减少模型宽度的同时增加模型深度，避免主干网络的表达能力下降。

6.如权利要求1所述的一种生成对抗神经网络压缩方法，其特征在于：步骤(3)使用的剪枝方法为结构化剪枝方法，用于对卷积层进行卷积核维度修剪；对于同一个卷积层中的所有卷积核，将计算卷积核之间的几何距离，两个几何距离近的卷积核简化为一个卷积核表示。