[发明专利]图像重建方法及设备

说明书

本申请实施例提供一种图像重建方法及设备，该方法包括：将第一图像输入新建的超分辨率模型以得到重建的第二图像，第二图像的分辨率高于第一图像；新建的超分辨率模型是使用误差损失对初始的超分辨率模型进行训练得到的；误差损失包括像素均方差和图像特征均方差；图像特征包含纹理特征、形状特征、空间关系特征和图像高层语义特征中的至少一项。实施本申请实施例，可以提高重建图像的质量。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像重建方法及设备。

背景技术

图像超分辨率重建是指利用图像处理方法将低分辨率图像重建为高分辨率图像的技术，可有效提升图像的清晰度，对于视频监控、相机拍照、高清电视、医学图像等各领域具有重要意义。而图像超分辨率重建中，人脸超分辨率重建(face image super-resolution)应用广泛，人脸超分辨率重建又称人脸幻生(face hallucination)。

目前，人脸超分辨率重建的方法包括基于信号重建的方法和基于机器学习的方法。其中，基于信号重建方法主要通过信号处理领域中的信号重建理论来实现，例如傅里叶变换、多项式插值等。基于信号的重建方法通常实现简单，但重建得到的图像细节信息丢失严重，边缘模糊，锯齿状明显。

而基于机器学习的方法是输入低分辨率图像，然后通过超分辨率模型重建低分辨率图像得到极大后验概率估计的重建图像。基于机器学习的方法使用的超分辨率模型是初始的超分辨率模型训练得到的。超分辨率模型训练过程是根据低分辨率图像重建得到的图像和高分辨率图像之间的像素均方差来对超分辨率模型中的参数进行调整的过程。但是，仅根据像素均方差训练得到的超分辨率模型在进行图像重建时，生成的图像平滑明显，高频信息损失严重。

发明内容

本申请实施例公开了一种图像重建方法及设备，可以提高图像重建质量。

第一方面，本申请实施例提供一种图像重建方法，包括：将第一图像输入新建的超分辨率模型以得到重建的第二图像，所述第二图像的分辨率高于所述第一图像；所述新建的超分辨率模型是使用误差损失对初始的超分辨率模型进行训练得到的；所述误差损失包括像素均方差和图像特征均方差；所述图像特征包含纹理特征、形状特征、空间关系特征和图像高层语义特征中的至少一项。在超分辨率模型训练阶段，误差损失包含像素均方差，误差损失也包含图像特征均方差。用于训练初始的超分辨率模型的误差损失包含了更全面的误差损失的信息，因此训练得到的用于重建图像的新建的超分辨率模型更加精确，从而可以减少重建图像的高频信息的损失，提高重建图像的重建质量。

在一个实施例中，所述误差损失是第三图像和第四图像之间的误差损失，所述第三图像是将第五图像输入所述初始的超分辨率模型进行重建得到的；所述第四图像为高分辨率图像，所述第五图像为所述第四图像通过模糊化处理得到的低分辨率图像；所述初始的超分辨率模型用于重建输入所述初始的超分辨率模型的图像以提高分辨率。

在一个实施例中，所述第三图像、所述第四图像和所述第五图像的数量均为M张，所述误差损失的个数为M个，所述M张第三图像是将所述M张第五图像输入到所述初始的超分辨率模型重建得到的；所述M个误差损失是根据所述M张第三图像和所述M张第四图像确定的；其中，所述M个误差损失中任意一个误差损失为所述M张第三图像中的第i张第三图像与所述M张第四图像中的第j张第四图像之间的误差损失，由所述第j张第四图像通过模糊化处理得到的第五图像输入到所述初始的超分辨率模型后得到的图像为所述第i张第三图像，所述M为大于1的正整数，所述i和所述j均为小于或等于M正整数。当M为大于2的正整数时，通过多组训练样本得到的多个误差损失来调整初始的超分辨率模型，提供用于调整初始的超分辨率模型的样本信息更多，调整得到的新建的超分辨率模型精确度更高。另外，如果训练样本对为多对，每次得到一个误差损失时即根据该一个误差损失来调整初始的超分辨率模型，调整次数过多，造成处理资源和存储资源的浪费。而多组训练样本得到的多个误差损失来调整初始的超分辨率模型，可以减少超分辨率模型中参数的调整次数，从而可以节约处理资源和存储资源。