[发明专利]一种图像的超分辨率重建方法及系统

说明书

本发明公开了一种图像的超分辨率重建方法及系统，基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征后进行融合，有效的辨识了特征通道信息和位置信息的重要性，并且由于不同深度的特征对于图像超分辨率有着不同的贡献，本发明充分利用并融合不同深度特征，所得图像特征的在保留较大的感受野的同时也保留了更好的细节特征，基于该特征进行重建后，所得图像的超分效果较好。另外，本发明充分挖掘特征之间的联系，缓解了网络过深带来的性能瓶颈问题，且图像的特征表征能力较好，具有鲁棒性。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种图像的超分辨率重建方法及系统。

背景技术

早期的基于差值的图像超分辨率方法虽然简单，效率高，但是在实际应用中的效果却受到很大限制。最近，基于深度卷积神经网络的方法已经获得了超越传统图像超分方法的表现。最早的基于深度卷积神经网络的方法，提出了一个只有三层的图像超分辨率网络，其中包含了浅层特征提取、非线性映射、重建和上采样四个部分，第一次将深度学习引入到图像超分任务中。基于上述网络结构，图像超分辨率网络逐渐加深，通过引入残差学习结构可以将超分网络加深并且有效的保证训练收敛，解决了网络过深带来的训练困难等问题。但是网络还是过浅，重建的效果仍然很差。

随着计算机视觉领域分类任务中证明了更深的网络可以有效提升视觉任务上的表现后，这种有效的残差学习策略被引入到其他许多基于卷积网络的图像超分辨率方法中。主流的图像超分辨率网络都有着非常深和宽的特点，均使用分类网络中的残差模块作为基础模块，并通过去除残差模块中的批量归一化层来节省参数量和计算量用来加深网络，使得图像超分辨率效果取得了巨大的进步。通过堆叠残差模块会虽然使得网络变得很深，但是并没有充分挖掘出提取得到的特征之间的联系，限制了网络的特征表征能力，即使网络继续加深也无法提升的提升网络性能，存在性能瓶颈。此外，仅仅利用单一尺度的特征图进行超分辨率重建，在较大超分倍数的情况下，会存在鲁棒性差的问题。

故为了提高执行速度和性能，现有的图像的超分辨率重建方法中，图像超分辨率网络变得深度而紧凑，采用了更有效的跳跃连接方式这种连接虽然有助于该模型准确、有效地执行图像超分任务，但是由于没有充分利用并融合不同深度的特征信息，特征提取时感受野不足，超分效果较差。此外，基于感知损失和对抗生成网络被应用到图像超分辨率任务中，用于提升超分结果的视觉真实感，但是也会带来更多的虚假细节，限制了实际场景中的应用。

由此可见，现有的图像超分辨方法没有充分利用和融合不同深度的特征信息，超分效果较差；另外，由于现有方法主要关注于增加网络的深度和宽度，没有充分挖掘特征之间的联系，限制了网络的特征表征能力，且网络过深，存在性能瓶颈，鲁棒性较差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种图像的超分辨率重建方法，其目的在于解决现有技术由于没有充分利用并融合不同层特征信息而导致的超分效果较差的问题。

第一方面，本发明提供了一种图像的超分辨率重建方法，包括以下步骤：

S1、对待处理的低分辨率图像进行分块，得到多个图像块；

S2、基于图像的通道注意力机制和位置注意力机制，在不同深度上提取各图像块上的特征，得到各图像块对应的不同深度的特征图；

S3、对各图像块对应的不同深度的特征图进行融合，根据图像超分倍数，对所得融合后的特征图进行图像重建，得到各超分辨率图像块；

S4、将所得的各超分辨率图像块进行重组，得到高分辨率图像。