[发明专利]图像超分辨率处理方法有效
申请号: | 202011637663.6 | 申请日: | 2020-12-31 |
公开(公告)号: | CN112614056B | 公开(公告)日: | 2023-09-05 |
发明(设计)人: | 李栋;乔畅;李迪 | 申请(专利权)人: | 北京纳析光电科技有限公司 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094 |
代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
地址: | 102206 北京市昌平区生*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 分辨率 处理 方法 | ||
1.一种图像超分辨率处理方法,其特征在于,包括:
获取训练图像集,所述训练图像集包括多组图像组,每组所述图像组均包括彼此对应的第一图像和第二图像,所述第一图像的分辨率低于所述第二图像的分辨率;
基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型,其中,所述傅里叶域特征通道注意力机制用于对特征通道进行傅里叶变换,并利用其傅里叶频谱的强度和相位信息对特征通道进行加权调整;
通过所述训练图像集训练所述第一模型,或者通过所述训练图像集训练所述第二模型;
通过训练完成的所述第一模型或所述第二模型完成待处理图像的超分辨率处理。
2.根据权利要求1所述的图像超分辨率处理方法,其特征在于,所述基于傅里叶域特征通道注意力机制和卷积神经网络搭建第一模型或第二模型,包括:
基于所述傅里叶域特征通道注意力机制构建傅里叶域特征通道注意力卷积模块,基于所述傅里叶域特征通道注意力卷积模块在所述卷积神经网络中搭建所述第一模型或所述第二模型。
3.根据权利要求2所述的图像超分辨率处理方法,其特征在于,所述傅里叶域特征通道注意力机制通过傅里叶域特征通道注意力模块来实现,所述傅里叶域特征通道注意力模块包括:
快速傅里叶变换模块,其包括快速傅里叶变换层,以用于对输入的n个特征通道进行快速傅里叶变换,并顺次取模、取对数或伽马校正,得到特征通道的能量谱;
卷积-激活模块,其包括一个卷积层和一个ReLU激活函数,以用于使所述特征通道的能量谱依次经过一个卷积层和一个ReLU激活函数,以进行特征提取,其中,所述ReLU激活函数用以下表达式表示:
池化模块,其包括全局平均池化层,以用于对所述能量谱进行全局平均池化,得到对应于所述特征通道的数量的n个系数,所述n个系数分别作为所述n个特征通道的频域信息代表数值;
自适应加权模块,其包括一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数,以用于使所述n个系数依次通过一个全链接层、一个所述ReLU激活函数、一个全链接层和一个Sigmoid激活函数,以得到n个加权系数,并用所述n个加权系数对输入的所述n个特征通道进行加权,输出加权之后的特征通道,其中,所述Sigmoid激活函数用以下表达式表示:
4.根据权利要求3所述的图像超分辨率处理方法,其特征在于,所述傅里叶域特征通道注意力卷积模块包括:
特征提取模块,其包括顺次连接的一个卷积层、一个GELU激活函数、一个卷积层和一个GELU激活函数,其中,所述GELU激活函数用以下表达式表示:
所述傅里叶域特征通道注意力模块,其用于实现傅里叶域特征通道注意力机制,以赋予卷积神经网络自适应地调节特征通道权重的能力;
残差输出模块,其用于将所述特征提取模块的原始输入与所述傅里叶域特征通道注意力模块的输出相加,以作为所述傅里叶域特征通道注意力卷积模块的最终输出。
5.根据权利要求4所述的图像超分辨率处理方法,其特征在于,所述第一模型为傅里叶域特征通道注意力卷积神经网络模型,所述第一模型包括:
浅层特征提取模块,其包括一个卷积层和一个所述GELU激活函数,以用于使输入的预处理图像依次通过一个卷积层和一个所述GELU激活函数,以提取浅层特征;
深层特征提取模块,其包括p个残差模块、一个卷积层和一个所述GELU激活函数,以用于提取预处理图像的深层特征,其中,所述残差模块包括q个所述傅里叶域特征通道注意力卷积模块,输入的特征通道经过q个所述傅里叶域特征通道注意力卷积模块,输出的特征通道再与所述输入的特征通道相加作为所述残差模块的输出;
上采样输出模块,其包括一个像素重排层、一个卷积层和一个所述Sigmoid激活函数,以用于对预处理图像进行上采样并输出超分辨率处理后的最终图像。
6.根据权利要求4所述的图像超分辨率处理方法,其特征在于,所述第二模型为傅里叶域特征通道注意力生成对抗卷积神经网络模型,所述第二模型包括傅里叶域特征通道注意力生成器模型和卷积神经网络判别器模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京纳析光电科技有限公司,未经北京纳析光电科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011637663.6/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序