[发明专利]一种基于自注意变换的图像和谐化系统

说明书

本发明涉及图像处理技术领域，具体公开了两种基于自注意变换的非解耦和解耦的图像和谐化系统，利用自注意变换网络强大的远程上下文建模能力，采用非解耦图像和谐化模块，在合成图像的特征空间中利用自注意变换网络充分挖掘前景与背景之间的关系，以指导合成图像和谐化；或，采用解耦图像和谐化模块，利用自注意变换编码器和解码器解耦背景图像光的隐向量编码，进而将背景光隐向量编码和反射率特征图像通过另一个自注意变换解码器进行融合，以生成光照本征图像，最终将反射率本征图像与光照本征图像相乘得到和谐化的图像，实现了在保持合成图像语义和结构不变的同时调整前景光照使其与背景光照相兼容，以此解决合成图像前景与背景的不和谐问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于自注意变换的图像和谐化系统。

背景技术

将不同图像的任意区域组合成一幅视觉感知真实的合成图像是计算机视觉和图形学许多应用研究的一项基本任务，例如图像合成、图像拼接、图像编辑以及场景合成等，同时图像合成也是人类日常生活中的一种普遍操作。然而，将一幅图像的部分区域(称作合成图像的前景)复制并粘贴到另一幅图像(称作合成图像的背景)中进而得到的合成图像，由于其前景区域和背景区域(合成图像中除前景区域的其他区域)的成像环境(例如白天和黑夜，晴天和阴天，室内和室外)不同将不可避免地出现合成图像前景和背景外观不和谐一致的问题。因此，如何通过一种简单高效的手段使得合成图像看起来更加真实，即图像和谐化，是一项重要且具有挑战性的任务。

传统的图像和谐化方法着重于更好的匹配技术，通过迁移诸如颜色和纹理之类的统计信息来保证前景与背景之间的外观一致性。最近，已经开发了深度和谐化模型和大规模数据集来解决这一具有挑战性的任务并取得了很好的效果。当前的深度学习模型主要采用编码器-解码器的卷积神经网络(CNN)架构，该架构首先利用编码器尝试学习前景区域附近的背景外观颜色信息，进而捕获合成图像上下文以调整图像前景区域的外观或者光照使其与背景相一致，最后利用解码器重建和谐化后的图像。

实际上，普遍使用的编码器-解码器卷积神经网络架构通过两步处理过程完成图像和谐化任务。第一阶段主要是基于合成图像背景区域的颜色统计在多层特征空间中调整前景区域的颜色使其与背景颜色相兼容，第二阶段主要是将图像从高维特征空间中重建原始的结构和语义信息以及和谐化的低层视觉特征。然而，由于CNN本身具有局部敏感性的归纳偏置决定了卷积神经网络只能关注局部有限的信息，以致于浅层的CNN只能捕获前景附近的背景区域上下文，而缺少全局的背景上下文。然而，图像整体的协调一致性是评价合成图像视觉真实度的关键要素。因此CNN可能无法充分利用背景全局信息进行调整前景颜色并使其与整体背景颜色相一致。

另外，先前的方法采用具有连续编码的U-Net多层CNN网络结构，虽然U-Net通过多层CNN堆叠方式可以增加感受野以捕获图像全局的上下文，但同时由于从编码器到解码器的跳连接可能会再次将合成图像原有的不和谐信息引入到重建的图像中，降低图像和谐化模型的性能。

发明内容

本发明提供一种基于自注意变换的图像和谐化系统，解决的技术问题在于：如何在图像和谐化过程中，既能捕获前景附近的背景区域上下文，还能捕获图像全局的上下文，并且不引入不和谐信息，以最大程度地解决合成图像前景与背景的不和谐问题。

为解决以上技术问题，本发明提供一种基于自注意变换的图像和谐化系统，包括非解耦图像和谐化模块或解耦图像和谐化模块；

所述非解耦图像和谐化模块用于利用自注意变换网络对输入的合成图像和掩膜图像进行直接的自注意变换，生成对应的和谐化图像；

所述解耦图像和谐化模块包括反射率图像生成模块、背景光解耦模块和光照图像生成模块、合成模块；

所述反射率图像生成模块用于对输入的合成图像和掩膜图像进行解耦的自注意变换，生成所述合成图像的反射率本征图像；

所述背景光解耦模块用于利用自注意变换网络从合成图像的背景图像中解耦背景光以照射到所述反射率本征图像上；