[发明专利]经由从粗略到精细的扩展和采样的基于能量的生成模型

说明书

本文提出了基于能量的模型(EBM)的实施方式，EBM可经由多阶段从粗略到精细的扩展和采样策略的实施方式进行训练。训练方法的实施方式从低分辨率的图像中学习粗略级EBM开始，然后随着学习的进行而逐渐过渡到通过扩展能量函数从更高分辨率的图像中学习更精细级EBM。实施方式具有平滑学习和采样的计算效率。在所有EBM中，所测试的实施方式在图像生成方面达到了最佳性能并成功合成了高保真图像。实施方式还可用于图像恢复和分布外检测。框架实施方式可进一步推广以用于单边无监督图像到图像转换，并在模型大小和训练预算方面击败基准方法。本文还提出了解释转换动态的基于梯度的生成显著性方法的实施方式。

技术领域

本公开总体涉及用于计算机学习的系统和方法，该系统和方法可提供改进的计算机性能、特征和用途。更具体地，本公开涉及基于能量的模型。

背景技术

近来，由诸如卷积网络的现代神经网络参数化的基于能量的模型 (EBM)已引起深度学习群体的极大关注。EBM的一些应用包括生成图像、视频、3D体积形状、无序点云、文本、分子等，以及图像到图像转换，分布外检测和逆优化控制。EBM的典型特征在于：(i)简单性—EBM 的最大似然性学习将表示和生成统一在单个模型中，以及(ii)显式性—EBM通过训练能量函数来提供数据的显式密度分布，该能量函数为观察到的数据分配较低值并为未观察到的数据分配较高值。

然而，训练EBM合成多样化且高保真的图像并不容易。最大似然性估计(MLE)学习过程通常涉及马尔可夫链蒙特卡洛(MCMC)以从当前模型中采样，然后给定这些样本与观察数据之间的差异来更新模型参数。由于采样步骤在遍历学习模型的不同模式时低效且不稳定，尤其是当能量函数因高度变化或高分辨率训练数据而是多模态时，这种“合成分析”学习方案具有挑战性。

因此，需要改进的方式来训练基于能量的模型。

发明内容

本公开涉及用于训练基于能量的模型的计算机实施方法、非暂时性计算机可读介质以及计算机程序产品。

本公开的一方面提出了一种用于训练基于能量的模型的计算机实施方法，该方法包括：获得具有当前阶段分辨率的一组真实图像；获得具有当前阶段分辨率的一组当前阶段初始合成图像；获得一组前一阶段合成图像，其中前一阶段合成图像具有比当前阶段分辨率低的分辨率的前一阶段分辨率；给定一组前一阶段合成图像和具有前一阶段分辨率的输入的前一阶段基于能量的模型，经由马尔可夫链蒙特卡洛(MCMC)采样来生成一组更新的前一阶段合成图像；通过将一组当前阶段初始合成图像与已上采样至当前阶段分辨率的一组更新的前一阶段合成图像相结合，生成具有当前阶段分辨率的一组更新的当前阶段初始合成图像；给定一组更新的当前阶段初始合成图像和具有当前阶段分辨率的输入的当前阶段基于能量的模型，经由马尔可夫链蒙特卡洛(MCMC)采样来生成一组更新的当前阶段合成图像；基于使用一组真实图像和当前阶段基于能量的模型获得的预期值以及使用一组更新的当前阶段合成图像和当前阶段基于能量的模型的预期值之间的差异，更新当前阶段基于能量的模型。响应于当前阶段分辨率不是最终分辨率：修改更新的当前阶段基于能量的模型，以生成分辨率高于当前阶段分辨率的基于能量的扩展模型；将更新的当前阶段基于能量的模型设定为用于下一迭代的前一阶段基于能量的模型，并将其分辨率设定为用于下一迭代的前一阶段分辨率；将基于能量的扩展模型设定为用于下一迭代的当前阶段基于能量的模型，并将其分辨率设定为用于下一迭代的当前阶段分辨率；以及返回到获得一组真实图像的步骤进行迭代。响应于当前阶段分辨率是最终分辨率，输出更新的当前阶段基于能量的模型作为具有最终分辨率的经训练的基于能量的模型。