[发明专利]一种基于动态混合注意力机制的轻量级超分辨重建方法及系统

说明书

本发明涉及一种基于动态混合注意力机制的轻量级超分辨重建方法及系统，其方法包括：S1：对输入的低分辨率图像进行浅层特征提取，得到不同维度的特征图；S2：将特征图分割为若干子图，对每个子图采用非局部的空间注意力机制进行计算，输出非局部的空间注意力特征图；S3：将非局部的空间注意力特征图经过n个深层特征提取模块后输出特征图x_n；S4：将x_n采用非局部的空间注意力机制进行计算，输出其非局部的空间注意力特征图x_n′；S5：使用空间‑通道注意力机制对x_n′进行重建，得到放大的x_n′；对低分辨率图像使用亚像素方式上采样后与放大的x_n′进行融合，得到最终的超分辨率图像。本发明提供的方法保证模型轻量级的同时还有着较好的图像重建指标与图像重建效果。

技术领域

本发明涉及工智能深度学习和超分辨率重建图像领域，具体涉及一种基于动态混合注意力机制的轻量级超分辨重建方法及系统。

背景技术

图像超分辨率重建任务是指将一副低分辨率(Low-Resolution)的图像通过特定的方法重建为高分辨率(High-resolution)的图像，重建后的图像能看到更细节的纹理与更准确的结构。作为计算机视觉典型的底层任务之一，图像超分辨率受到了许多研究者关注，但这是一个极具挑战性的领域，因为它是一个病态的问题，即一张低分辨率图像可以重建为不同的高分辨率图像。在这种情况下，从上世纪60年代开始，相继有许多经典的超分辨率重建算法提出，有基于预测的方法、基于统计的方法、基于边缘的方法以及稀疏表示法等等。

近几年，随着深度学习的发展，超分辨率领域也越来越火热，事实证明基于卷积神经网络的超分辨率重建算法能够很好的提升超分辨率重建性能。从第一个引入深度学习至图像超分辨率领域的SRCNN开始，对比传统算法的基础上卷积神经网络的性能进行了大幅提高。接着，各种结构层出不穷的引入超分辨率网络，如更深的网络和残差结构EDSR，学习能力较强的残差密集连接块RDN，还有用不同的损失函数契合不同任务的需要，以及引入其他领域比较成熟的技术如注意力机制模块等。

但是，上述的发展也有一个缺点，就是随着研究的深入，虽然重建效果越来越好，但是网络的参数量以及计算量越来越大，超大参数量与计算量对于未来实际应用的落地是一个很大的障碍，如何减少参数量的同时保证有着较好的图像重建效果是一个极大的挑战。

发明内容

为了解决上述技术问题，本发明提供一种基于动态混合注意力机制的轻量级超分辨重建方法及系统。

本发明技术解决方案为：一种基于动态混合注意力机制的轻量级超分辨重建方法，包括：

步骤S1：对输入的低分辨率图像进行浅层特征提取，得到不同维度的特征图；

步骤S2：将所述不同维度的特征图分割为若干个子图，对每个所述子图采用非局部的空间注意力机制进行计算，得到其空间维度上的长距离依赖关系；输出非局部的空间注意力特征图；

步骤S3：将所述非局部的空间注意力特征图经过n个深层特征提取模块进行深层特征提取，输出特征图x_n；其中，每层所述深层特征提取模块包括：将所述非局部的空间注意力特征图经过注意力分支与非注意力分支，提取各个维度特征图中重要的对象和区域，并使用动态注意力模块对所述注意力分支与所述非注意力分支计算对应的权重；

步骤S4：将x_n采用非局部的空间注意力机制进行计算，输出其非局部的空间注意力特征图x_n′；

步骤S5：使用最近邻插值的上采样方式与1x1卷积核形成像素级别的空间-通道注意力机制，对x_n′进行重建，得到放大的x_n′；对所述低分辨率图像使用亚像素方式上采样后与所述放大的x_n′进行融合，得到最终的超分辨率图像。

本发明与现有技术相比，具有以下优点：