[发明专利]一种基于跨尺度纹理迁移的图像超分辨率方法在审
申请号: | 202110291545.2 | 申请日: | 2021-03-18 |
公开(公告)号: | CN113112401A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 郑建炜;李鹏飞;刘豪;刘宇;谷雨斌;吴杰;刘志 | 申请(专利权)人: | 浙江工业大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T7/40;G06K9/62 |
代理公司: | 杭州天正专利事务所有限公司 33201 | 代理人: | 王兵 |
地址: | 310014 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 尺度 纹理 迁移 图像 分辨率 方法 | ||
本发明公开了一种基于跨尺度纹理迁移的图像超分辨率方法,包括获取待处理的低分辨率图像和纹理参考图像;利用可学习的纹理提取器进行纹理特征的提取;通过相关性嵌入模块来建立低分辨率图像和参考图像之间的关系;利用硬注意力模块和软注意力模块从参考图像中迁移对应位置的特征块,进而组合成一个迁移纹理特征图;将不同层级间的特征和低分辨率图像通过上采样和带步长的卷积进行交叉融合,得到最终的高分辨率结果。本发明引入参考图像来指引整个超分辨率过程,将原本较为困难的纹理恢复与生成转化为了相对简单的纹理搜索与迁移,使得结果在指标以及视觉效果上有了提升。
技术领域
本发明属于图像处理技术领域,具体涉及一种基于跨尺度纹理迁移的图像超分辨率方法。
背景技术
图像超分辨率技术是指从低分辨率图像中恢复出自然、清晰的高分辨率图像。随着超分技术的发展,媒体的质量得到了提高,例如相机的数字变焦和数字电视的图像增强。除此之外,超分技术还被广泛应用于其他视觉任务,例如医学成像和卫星成像。
图像超分辨率技术通常分为两大类,即单幅图像的超分辨率方法和基于参考的图像超分辨率方法。其中,传统的单幅图像超分辨率方法经常会因为输入的低分辨率图像中纹理被过度破坏,无法恢复,而导致输出结果模糊。
受到基于参考的图像超分辨率方法的启发,引入一张高分辨率参考图像来指引整个超分辨率过程。但是基于参考的图像超分辨率方法通常采用一种直接的方式来转移纹理,这可能会导致不满意的超分辨率结果。
发明内容
本发明要克服现有技术的上述缺点,提供基于跨尺度纹理迁移的图像超分辨率方法。
本发明结合了纹理迁移和跨尺度注意力机制的优点,以及利用参考图像的特征,实现了高清纹理从参考图像到低分辨率图像的迁移。
为实现上述目的,本发明所采取的技术方案为:
一种基于跨尺度纹理迁移的图像超分辨率方法,包括以下步骤:
步骤S1、获取待处理的低分辨率图像和纹理参考图像;
步骤S2、利用可学习的纹理提取器进行纹理特征的提取;
步骤S3、通过相关性嵌入模块来建立低分辨率图像和参考图像之间的关系;
步骤S4、利用硬注意力模块和软注意力模块从参考图像中迁移对应位置的特征块,进而组合成一个迁移纹理特征图;
步骤S5、将不同层级间的特征和低分辨率图像通过上采样和带步长的卷积进行交叉融合,得到最终的高分辨率结果。
作为优选,步骤S3所述通过相关性嵌入模块来建立低分辨率图像和参考图像之间的关系,具体包括:
S31.将步骤S2中得到的图像LR↑的纹理信息Q沿着通道维度依次提取出来,得到h*w个特征块q1,q2,…qh*w;其中LR表示低分辨率图像,↑表示上采样;
S32.将步骤S2中得到的图像Ref↓↑的纹理信息K沿着通道维度依次提取出来,得到h*w个特征块k1,k2,…kh*w;其中Ref表示参考图像,↑表示上采样,↓表示下采样;
S33.以内积的方式计算图像LR↑的纹理信息Q和图像Ref↓↑的纹理信息K中的特征块两两之间的相关性,得到一个相关性图R,具体计算公式如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江工业大学,未经浙江工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110291545.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:半导体结构及半导体结构的制作方法
- 下一篇:CIS深沟槽外延层制作方法