[发明专利]基于注意力机制和双通道网络的图像超分辨率重建方法有效
申请号: | 202110573693.3 | 申请日: | 2021-05-25 |
公开(公告)号: | CN113362223B | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 张旭;何涛;夏英 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T5/30;G06T5/50;G06T7/11;G06N3/04;G06N3/08 |
代理公司: | 重庆辉腾律师事务所 50215 | 代理人: | 卢胜斌 |
地址: | 400065 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 注意力 机制 双通道 网络 图像 分辨率 重建 方法 | ||
1.一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,包括:实时获取待检测图像,对待检测图像进行预处理;将预处理后的图像输入到训练好的图像超分辨率重建模型中,得到高清重建图;采用峰值信噪比和结构相似性对重建图进行评价,根据评价结果对高清重建图进行标记;
对图像超分辨率重建模型进行训练的过程包括:
S1:获取原始高清图片数据集,采用双三次插值降解模型对数据集中的图片进行缩放;
S2:对缩放后的数据集进行预处理,得到训练数据集;
S3:将训练数据集中的每个图像数据分别输入到图像超分辨率重建模型中的浅层特征通道和深层特征通道中进行特征提取;
S4:采用第一卷积层提取输入图像的初始特征;将初始特征输入到信息级联模块中,聚合卷积层的层级特征信息;
S5:将信息级联模块聚合的层级特征信息输入到改进的残差模块中,得到通道上的关联性和全局空间上的依赖信息;
S6:采用非局部空洞卷积块对依赖信息进行全局特征提取,得到最终的深层特征图;
S7:采用第二卷积层提取输入图像的初始特征;将初始特征输入到改进的VGG网络中,提取图像的浅层特征,得到浅层特征图;
S8:将深层特征图和浅层特征图进行融合,对融合特征图进行上采样,得到高清重建图;
S9:利用损失函数约束高清重建图像与原始高清图像之间的差异,不断调整模型的参数,直到模型收敛,完成模型的训练。
2.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,采用双三次插值降解模型对数据集中的图片进行缩放的倍数为2倍、3倍、4倍和8倍。
3.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,双三次插值降解模型的公式为:
ILR=HdnIHR+n
其中,ILR表示低分辨率图像,Hdn表示降解模型,IHR表示原始高分辨率图像,n表示额外的噪音。
4.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,对缩放后的数据集进行预处理的过程包括对图像进行增强处理,包括对图像进行平移,水平和竖直方向的翻转处理;将增强后的数据分割为不同的小图像块,将分割后的图像进行集合,得到训练数据集。
5.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,信息级联模块包括堆叠10次特征聚合结构;特征聚合结构包括至少三层卷积神经网络、特征通道合并层、通道注意力层和通道数变换层,各个层卷积神经网络依次连接,且除最后一层卷神经网络外的各个层卷积神经网络的输出端支路连接特征通道合并层,特征通道合并层、通道注意力层和通道数变换层依次连接,构成信息级联模块;该模块处理图像数据的过程包括:首先使用各层卷积神经网络依次对输入图像进行特征信息的提取,之后将每层卷积提取的特征信息在特征通道合并层上合并,使用通道注意力机制对合并的信息进行重要性区分,最后将通道数降为输入通道数大小,重复上述步骤10次,得到聚合卷积层的层级特征信息。
6.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,改进的残差模块包括:残差网络结构、通道注意力机制层和空间注意力机制层,残差网络结构包括卷积神经网络层、非线性激活层和卷积神经网络层;该模块处理图像数据的过程包括:将层级特征信息输入到残差网络结构中提取特征信息,将提取到的特征信息使用通道注意力机制获取通道上的关联性,再往下传递,使用空间注意力机制获取全局空间上的依赖性。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110573693.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种电子针灸按摩治疗仪
- 下一篇:图片管理方法、装置及电子设备