[发明专利]一种基于自注意变换的图像和谐化系统

权利要求书

1.一种基于自注意变换的图像和谐化系统，其特征在于：包括非解耦图像和谐化模块或解耦图像和谐化模块；

所述非解耦图像和谐化模块用于利用自注意变换网络对输入的合成图像和掩膜图像进行直接的自注意变换，生成对应的和谐化图像；

所述解耦图像和谐化模块包括反射率图像生成模块、背景光解耦模块和光照图像生成模块、合成模块；

所述反射率图像生成模块用于对输入的合成图像和掩膜图像进行解耦的自注意变换，生成所述合成图像的反射率本征图像；

所述背景光解耦模块用于利用自注意变换网络从合成图像的背景图像中解耦背景光以照射到所述反射率本征图像上；

所述光照变换模块用于对照射有背景光的反射率本征图像利用自注意变换网络进一步生成光照本征图像；

所述合成模块用于对所述反射率本征图像和所述光照本征图像进行点乘操作，生成所述合成图像的和谐化图像。

2.根据权利要求1所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述解耦图像和谐化模块包括第一编码器、第一序列化变换模块、第一自注意变换模块、第一序列化反变换模块、第一解码器；

所述第一编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第一序列化变换模块；

所述第一序列化变换模块对输入的特征图像进行序列化变换，生成所述第一自注意变换模块的输入令牌；

所述第一自注意变换模块用于对所述第一序列化变换模块生成的输入令牌进行直接的自注意变换，得到输出令牌输入所述第一序列化反变换模块；

所述第一序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成和谐化特征图像；

所述第一解码器用于将所述和谐化特征图像解码为与所述合成图像对应的和谐化图像。

3.根据权利要求2所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述反射率图像生成模块包括第二编码器、第二序列化变换模块、第二自注意变换模块、第二序列化反变换模块、第二解码器；

所述第二编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第二序列化变换模块；

所述第二序列化变换模块对输入的特征图像进行序列化变换，生成所述第二自注意变换模块的输入令牌；

所述第二自注意变换模块用于对所述第二序列化变换模块生成的输入令牌进行解耦的自注意变换，得到反射率图像输出令牌输入所述第二序列化反变换模块及所述光照变换模块；

所述第二序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成反射率本征特征图像；

所述第二解码器用于将所述反射率本征特征图像解码为与所述合成图像对应的反射率本征图像。

4.根据权利要求3所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述背景光解耦模块包括线性变换模块、第三自注意变换模块、第四自注意变换模块；

所述线性变换模块用于将输入的背景图像分割成图像块序列，然后将每个图像块展平当做一个令牌并通过线性映射将其编码到特征空间，生成所述第三自注意变换模块的输入令牌；

所述第三自注意变换模块用于对其输入令牌进行自注意变换编码，生成所述第四自注意变换模块的输入令牌；

所述第四自注意变换模块用于对其输入令牌进行自注意变换解码，生成背景光隐向量编码令牌输入所述光照变换模块中。

5.根据权利要求4所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述光照变换模块包括第五自注意变换模块、第三序列化反变换模块、第三解码器；

所述第五自注意变换模块用于对所述背景光隐向量编码令牌及所述反射率图像输出令牌进行自注意变换，生成对应的光照本征图像输出令牌；

所述第三序列化反变换模块用于对所述光照本征图像输出令牌进行序列化反变换生成与所述合成图像对应的光照本征特征图像；

所述第三解码器用于对所述光照本征特征图像进行解码，输出与所述合成图像对应的光照本征图像。