[发明专利]一种对抗生成神经网络压缩方法

说明书

目的是解决现有的深度学习模型压缩技术如剪枝,量化难以直接应用在生成对抗网络模型中的问题，提出了一种针对生成对抗网络模型的压缩方法，(1)获得将要压缩的生成对抗网络，并将其作为教师网络；(2)构建最大学生网络模型并预训练；(3)学生网络模型剪枝；(4)学生网络模型蒸馏。本发明能够有效的减少网络的参数量与计算量。涉及人工智能领域，具体涉及生成对抗神经网络压缩领域。对生成对抗网络的实际应用与部署有着重要意义。通过本方法，在工业中广泛使用的cyclegan模型参数量压缩43倍，模型计算量压缩29倍，模型的表现能力(FID)几乎没有下降，压缩后的cyclegan′生成的图片与原cyclegan网络生成的图片用肉眼难以分辨。

技术领域

本发明属于人工智能领域，具体涉及一种生成对抗神经网络压缩方法。

背景技术

当下生成对抗神经网络(gan)模型的使用由训练和推理两阶段组成，其在图像生成、图像转换、数据增强方面取得了很大成功。与此同时，边缘智能将人工智能融入边缘计算，将智能算法部署在边缘设备,作为更快更好地提供智能服务的一种服务模式。边缘智能已逐渐渗入各行各业。

然而，当下边缘智能面临着巨大挑战。将gan网络模型部署在边缘设备上面临着计算、存储、能耗资源受限的挑战：边缘设备的计算、存储能力往往远小于专用服务器。无法满足gan网络模型训练、推理所需。除此之外，部分边缘设备采用蓄电池等小型供电设备，无法满足计算所需的能耗。例如：NVIDIA的AI嵌入式设备Jetson TX2拥有256个CUDA核心、8G内存、7.5W能耗；而NVIDIA 1080TI GPU拥有3584个CUDA核心，11G显存，二者有很大性能差异。

对gan网络模型进行压缩后再部署是解决上述挑战的有效方法。压缩后的模型对设备的计算、存储、能耗资源需求降低很多，同时推理的效果不受太大影响。

目前的通用模型压缩方法由两步构成：1.精细网络结构设计与修剪；2.精细网络表现提升。精细网络结构设计与修剪的常见方法有如下几类：手工设计、量化、剪枝、自动机器学习、网络分解；精细网络表现提升的常见方法有：重训练、知识蒸馏。

对于精细网络结构设计与修剪：手工设计网络常用于卷积层结构设计、需要大量经验和试错、普适性差；量化通常会导致精度大幅度损失；自动机器学习的假设空间通常非常大，需要强大的计算资源；网络分解方法普适性差。剪枝方法是最常用的精细网络设计与修剪方法。对于精细网络表现提升：重训练后的模型表现通常差于知识蒸馏方法，知识蒸馏方法是最常用的精细网络表现提升方法。

知识蒸馏的基本思想是通过软化的softmax目标变换学习教师网络输出的类别分布，将大型网络模型(教师网络)的知识精炼为小型网络模型(学生模型)的知识。该方法的表现较稳定、有完备的数学理论基础，是较常用的表现提升方法。

模型剪枝的基本思想是寻找一种有效的评判手段来判断参数或卷积核的重要性，将不重要的连接或者卷积核进行裁剪来减少模型的冗余。常见的模型剪枝分为结构化剪枝和非结构化剪枝。非结构化剪枝的修剪维度是单个连接，结构化剪枝的修剪维度是卷积核。

以上技术常用于卷积神经网络和其他深度学习模型中。现有的模型压缩方法由于以下原因，难以直接运用到gan网络模型中：

1.现有的gan网络模型的剪枝效果较差，精度损失严重。

2.gan网络模型损失函数收敛不稳定，难以训练，重训练方法难以直接应用。

3.gan网络模型的输出为图像，不是逻辑向量输出，知识蒸馏通常针对逻辑向量输出，这导致知识蒸馏方法难以直接应用。

发明内容

本发明要解决上述现有深度学习模型压缩技术难以直接应用在gan网络模型中的问题，提出了一种gan网络模型压缩方法。本发明的目的可以通过本发明中的中间层蒸馏、关系蒸馏、结构化剪枝等方法来达到。