[发明专利]一种基于跨通道融合空间注意力机制的高清图像翻译方法在审
申请号: | 202210695215.4 | 申请日: | 2022-06-20 |
公开(公告)号: | CN115034959A | 公开(公告)日: | 2022-09-09 |
发明(设计)人: | 张欣;杨梦宁;简坤元;龙超;邓植夫;柴海洋 | 申请(专利权)人: | 重庆大学 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06N3/04;G06N3/08 |
代理公司: | 重庆晟轩知识产权代理事务所(普通合伙) 50238 | 代理人: | 孔玲珑 |
地址: | 400044 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 通道 融合 空间 注意力 机制 图像 翻译 方法 | ||
本发明涉及一种基于跨通道融合空间注意力机制的高清图像翻译方法,包括如下步骤:S1:选用原图数据集X,并预设目标域类别标签集C;S2:构建基于跨通道融合空间注意力机制的高清图像翻译模型M;S3:将选取的图片输入生成器中得到生成图像;S4:再将生成图像yi继续与C所包含的所有标签拼接在一起输入到生成器中得到y′i,之后用判别器对y′i进行判别得到y′i对应的图像类别S5:构建损失函数用于更新模型M的网络参数;S6:训练完成后得到训练好的模型M。通过使用本发明所阐述的方法可以使得处理高清图像时,可以完整的采集到原图像信息,准确的翻译原图像,同时减少训练冗余问题。
技术领域
本发明涉及高清图像翻译领域,特别涉及一种基于跨通道融合空间注意力机制的高清图像翻译方法。
背景技术
当前图像作为最直接和便捷的信息载体,备受人们的青睐,这驱使了计算机视觉相关工作需要以更具创新和更大格局的发展态势。图像翻译技术作为计算机视觉领域的关键技术之一,得益于它的高价值和高可用性,备受越来越多的研究者关注。图像翻译技术旨在通过学习原始图像到目标图像的映射关系使得图像内容中某个属性的转换。一对一映射关系的图像翻译技术是目前的主流方法,但是在面对多组图像数据时,需要依据图像转换样式的数量来训练多个模型,其可扩展性和鲁棒性都有待提高,目前一对多映射关系的图像翻译模型可以很好地解决训练模型冗余的问题,但目前所公开的该类模型又大多关注低分辨率图像转换任务,转换结果存在背景污染和纹理细节丢失的缺陷,并不适用于多样式高清图像翻译任务。
当下的图像翻译的概念跟语言翻译的概念相通,即从某一个特定的领域转换到另一个特定的目标域,通过对图像内容中某个属性的改变去逼近目标图像内容的特定属性,如将普通马转换成斑马,山水画转换成油画等;并且当一对一映射关系图像翻译技术在面对多组图像数据时,需要依据图像数据的数量来训练多个网络模型,加大工作量的同时也会出现资源上的浪费。
目前图像翻译技术应用在许多方面并产生了很多成果,但是依然面临许多挑战:一是大多数图像翻译采用的数据都是低分辨率图像,图像成像质量较低,纹理细节保留较少,而如今随着摄影设备的发展,大多数图像都是以高分辨率的形式存在;二是利用高清图像作为训练数据,无疑会增加网络模型的计算量,并且高分辨图像包含丰富的纹理细节信息,在经过神经网络的卷积和池化操作后,难免会有部分纹理信息的丢失,会造成转换后的图像不够真实的现象存在;三是原域图像转换到目标域图像过程中,由于是对图像内容中的某个属性的改变,会造成图像背景内容的污染(如改变人物头发颜色的过程中,背景会受到头发颜色的污染)。
发明内容
针对现有技术存在的上述问题,本发明要解决的技术问题是:目前对高分辨率图片的图像翻译技术存在信息丢失,导致图像翻译不准确,而且会出现一对多映射关系的图像翻译模型的训练冗余问题。
为解决上述技术问题,本发明采用如下技术方案:
一种基于跨通道融合空间注意力机制的高清图像翻译方法,包括如下步骤:
S100:选用公开真实照片作为原图数据集X,并预设目标域类别标签集C,原图数据集X中为带有真实类别标签的图像数据,目标域类别标签集C中包括Q种样式的人物写真风格类型的类别标签;
S200:构建基于跨通道融合空间注意力机制的高清图像翻译模型M,基于跨通道融合空间注意力机制的高清图像翻译模型M包括基于跨通道融合空间注意力机制的生成器和基于跨通道融合空间注意力机制的判别器;
所述生成器包括4个模块,依次为下采样模块、跨通道融合空间注意力机制模块、基于跨通道融合空间注意力机制的大残差嵌套小残差模块和上采样模块;
S300:令i=1;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学,未经重庆大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210695215.4/2.html,转载请声明来源钻瓜专利网。