[发明专利]网络模型的压缩方法、图像生成方法、装置、设备及介质有效
申请号: | 202111122307.5 | 申请日: | 2021-09-24 |
公开(公告)号: | CN113780534B | 公开(公告)日: | 2023-08-22 |
发明(设计)人: | 吴捷;李少杰;肖学锋 | 申请(专利权)人: | 北京字跳网络技术有限公司 |
主分类号: | G06N3/0464 | 分类号: | G06N3/0464;G06N3/082 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 吴崇 |
地址: | 100190 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网络 模型 压缩 方法 图像 生成 装置 设备 介质 | ||
本公开实施例涉及一种网络模型的压缩方法、图像生成方法、装置、设备及介质。其中,网络模型的压缩方法包括:对第一生成器进行剪枝处理,得到第二生成器;对第一辨别器中的卷积核的状态进行配置,使得其中一部分卷积核为激活状态,另一部分卷积核为抑制状态,得到第二辨别器;其中,第一生成器和第一辨别器之间的损失差为第一损失差,第二生成器和第二辨别器之间的损失差为第二损失差,第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。由于本公开实施例可协同压缩生成器和辨别器,因此压缩后的生成器和压缩后的辨别器可保持纳什均衡,避免了模式坍塌现象。
技术领域
本公开涉及计算机技术领域,尤其涉及一种网络模型的压缩方法、图像生成方法、装置、设备及介质。
背景技术
生成式对抗网络(Generative Adversarial Networks,GAN)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一,广泛应用于各种图像合成任务,例如图像生成、图像分辨率、超分辨率。
然而GAN庞大的计算量和内存需求严重阻碍其部署到资源受限的边缘设备上。因此,相关技术中通过压缩GAN中的生成器来解决该问题,但是,这会破坏生成器和辨别器之间的纳什均衡,导致生成器生成图像出现模式坍塌的现象。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种网络模型的压缩方法、图像生成方法、装置、设备及介质。
本公开实施例的第一方面提供了一种网络模型的压缩方法,待压缩的网络模型包括第一生成器和第一辨别器,该方法包括:
对所述第一生成器进行剪枝处理,得到第二生成器;
对所述第一辨别器中的卷积核的状态进行配置,使得其中一部分卷积核为激活状态,另一部分卷积核为抑制状态,得到第二辨别器;
其中,所述第一生成器和所述第一辨别器之间的损失差为第一损失差,所述第二生成器和所述第二辨别器之间的损失差为第二损失差,所述第一损失差和所述第二损失差之间的差值绝对值小于第一预设阈值。
在一种实施方式中,所述对所述第一辨别器中的卷积核的状态进行配置,使得其中一部分卷积核为激活状态,另一部分卷积核为抑制状态,得到第二辨别器包括:
冻结所述第二辨别器中的各卷积核对应的保留因子,确定所述第二辨别器的第一权重参数;其中,所述保留因子用于表征其对应的卷积核的重要程度;
冻结所述第二辨别器的第一权重参数和所述第二生成器的第二权重参数,确定各所述保留因子;
重复执行上述确定所述第二辨别器的第一权重参数以及确定各所述保留因子的操作,直至所述第一损失差和所述第二损失差之间的差值绝对值小于所述第一预设阈值。
在一种实施方式中,所述第一权重参数包括所述第二辨别器中除去所述保留因子之外的其它要素对应的权重参数。
在一种实施方式中,所述第二权重参数包括所述第二生成器中各要素对应的权重参数。
在一种实施方式中,所述确定所述第二辨别器的第一权重参数包括:
根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数;
根据所述第二辨别器的目标函数确定所述第二辨别器的第一权重参数。
在一种实施方式中,所述根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数之前还包括:
根据所述第二生成器的损失函数确定所述第二生成器的目标函数;
根据所述第二辨别器关于真实图片的损失函数、以及所述第二辨别器关于虚假图片的损失函数确定所述第二辨别器的目标函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字跳网络技术有限公司,未经北京字跳网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111122307.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:图标瑕疵检测方法及系统
- 下一篇:欺诈网页识别方法、系统、设备及存储介质