[发明专利]一种人体图像超分辨率重建方法、系统、装置及存储介质

说明书

本发明公开了一种人体图像超分辨率重建方法、系统、装置及存储介质，其中方法包括：对三维人体数据集进行降维处理，得到二维人体图像的数据集，作为训练集；将空间特异性卷积模块和多头注意力机制模块对标准卷积进行改进，得到新型卷积；使用新型卷积来代替标准卷积应用在基础的图像超分网络方法，得到初始网络；采用训练集对初始网络进行训练，获得图像超分辨率模型；获取低分辨率的人体图像，将低分辨率的人体图像输入图像超分辨率模型进行重建，获得高分辨率的人体图像。本发明基于空间特异性卷积模块和多头注意力机制模块，充分提取到空间上具有差异性的有用特征，提高图像的重建性能，可广泛应用于图像超分辨率技术。

技术领域

本发明涉及图像超分辨率技术，尤其涉及一种人体图像超分辨率重建方法、系统、装置及存储介质。

背景技术

随着时代的不断发展，人们对身边的各种信息质量也有更高的要求，尤其是在短视频蓬勃发展的近些年，人们对画面的清晰度和连贯性有着更高的期待。视频是由多帧图像在时间上通过相关性组成的，因此图像的清晰像素和丰富细节会给人们带来更多的信息和更好的体验。近几年卷积神经网络(CNN)的发展给计算机视觉领域指出了新的方向，在图像超分辨率(SISR)任务中，卷积神经网络的引入不仅突破了传统方法存有的限制，而且图像的质量上得到了大幅度提升，通过学习数据分布的方式来重建图像还可以获得灵活性更好的模型。

Dong等人提出了一种只有三层卷积组成的简单神经网络，称为SRCNN，算法直接学习LR-HR之间的非线性映射，由于CNN的引入，尽管只有浅层的网络组成，其性能表现良好，这是深度学习第一次被引入到图像超分辨任务中并且取得很好的效果，为深度学习在该任务的继续研究奠定了基础。同时作者又提出了FSRCNN，让网络在末端位置上采用反卷积层，回避了输入时就放大图像尺寸给网络处理上带来的开销。使用反卷积操作可以避免网络在高维空间上学习，ESPCN提出的亚像素卷积层的概念也能起到相同作用，它只在最后一层放大特征图，此时再对像素进行重排列，具体指的是在卷积层最后输出的特征个数与需要还原的高分辨率图像的像素个数一致，将像素重排列就可以恢复高分辨率图像。

为了进一步提高性能，Kim等人将卷积层的深度增加到了20层，同时引入了全局残差学习，提出了更加精确的VDSR，用更深的网络是为了提取更多的特征，全局残差学习的引入可以在一定程度上解决网络过深可能存在的梯度消失或爆炸问题，这使得该网络的效果进一步的得到提升。考虑到网络深度不断的增加，即使加入了全局残差学习，仍然会有梯度消失或爆炸问题的存在，因此Tai等人在受到ResNet的启发之后，提出了DRRN，将局部残差学习加入到网络的设计中，介绍了一种包含局部残差学习的方法。当然，影响SISR性能的因素还包括每层中特征的多样性和信息性，因此，注意力机制模块被嵌入到图像的处理中，以特征增强的方式提高CNN在图像超分辨率任务中的性能，在RCAN中，Zhang等人将通道注意力应用于在图像任务中，利用通道之间的关系对不同通道的特征进行区别对待，最终显著提升图像超分辨率的性能。

另外，随着生成对抗网络(GAN)的出现并在图像生成任务中取得一定的成绩，GAN被更多研究人员关注，Leding等人将其应用在图像超分辨率上，提出了SRGAN，并且使用感知损失函数，加入VGG预训练模型，让生成图像更加自然，符合人类视觉感观，但存在不易训练难以收敛的缺点。

图像超分辨率在采用了CNN之后性能相比传统方法而言得到了显著的提升，然而由于基于CNN的方法一直在不断的被改进，网络越来越复杂，网络的层数越来越深，显然计算成本也大幅度上升，昂贵的计算成本限制了它们的实际使用。

现如今的图像超分辨率方法仍存在不足之处，首先方法都采用标准卷积实现，忽略了大量的空间具有差异性的特征，并且为了性能提升一直在加深加宽网络，限制了方法的应用场景，如何有效提升图像超分性能同时不会增加参数量是目前需要解决的问题。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种人体图像超分辨率重建方法、系统、装置及存储介质。