[发明专利]一种图像复原方法、系统及存储介质和终端设备

权利要求书

1.一种图像复原方法，其特征在于，包括：

获取目标人脸图像，所述目标人脸图像中的部分像素缺失或被遮挡，及获取所述目标人脸图像中包含的人脸的三维系数；所述三维系数描述完整像素的所述人脸；

根据所述目标人脸图像的三维系数获取所述目标人脸图像的三维图像；

调用预训练的图像复原模型；

在所述图像复原模型中通过所述三维图像调整所述目标人脸图像的特征得到调整后特征，根据所述调整后特征获取所述目标人脸图像的复原后图像，输出所述复原后图像，所述复原后图像中包含所述目标人脸图像中缺失或被遮挡的像素。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标人脸图像的三维系数获取所述目标人脸图像的三维图像，具体包括：

根据所述目标人脸图像的三维系数重建出所述目标人脸图像的三维网络信息；所述三维网络信息包括组成三维人脸的多个面的形状和纹理，所述三维人脸为所述目标人脸图像包含的人脸对应的三维人脸；

通过渲染的方式将所述三维网络信息投射到二维平面上，得到所述目标人脸图像的三维图像。

3.如权利要求1所述的方法，其特征在于，所述调用预训练的图像复原模型，具体包括：

调用如下结构的图像复原模型：

所述图像复原模型包括：映射模块、多个编码模块、多个融合模块、多个解码模块及输出模块，其中：

一个编码模块的输出通过一个融合模块连接到一个解码模块的一个输入，所述映射模块的输出分别连接到所述多个解码模块的另一输入；所述多个编码模块之间串联连接，所述多个解码模块之间串联连接，所述多个解码模块中的最后一个解码模块的输出连接到所述输出模块。

4.如权利要求3所述的方法，其特征在于，所述图像复原模型根据所述目标人脸图像及所述三维图像，获取所述目标人脸图像的复原后图像，具体包括：

所述映射模块根据所述目标人脸图像的数据确定隐变量，所述隐变量用于调整所述解码模块所涉及的卷积计算的卷积权重；

通过所述编码模块提取所述目标人脸图像的一个分辨率的空间特征；

所述融合模块根据所述三维图像调整一个所述编码模块提取的一个分辨率的空间特征，得到一个分辨率的调整后空间特征；

所述多个解码模块中的第二解码模块根据所述隐变量、一个融合模块得到的一个分辨率的调整后空间特征及所述第二解码模块的前一解码模块获取的所述一个分辨率的特征信息进行卷积计算，得到另一个分辨率的特征信息；

所述输出模块根据所述最后一个所述第二解码模块得到的特征信息获取所述目标人脸图像的复原后图像。

5.如权利要求4所述的方法，其特征在于，所述多个解码模块中的第二解码模块根据所述隐变量、一个融合模块得到的一个分辨率的调整后空间特征及所述第二解码模块的前一解码模块获取的所述一个分辨率的特征信息进行卷积计算，得到另一个分辨率的特征信息，具体包括：

所述第二编码模块根据所述隐变量调整所述卷积计算所涉及的卷积权重，得到调整后卷积权重，并根据所述调整后卷积权重对所述一个分辨率的特征信息进行卷积计算得到卷积后特征；

根据所述一个分辨率的调整后空间特征及所述卷积后特征，得到另一个分辨率的特征信息。

6.如权利要求4所述的方法，其特征在于，

所述图像复原模型根据所述目标人脸图像及所述三维图像，获取所述目标人脸图像的复原后图像的过程中，所述多个解码模块中的第一解码模块根据所述隐变量及一个融合模块得到的一个分辨率的调整后空间特征进行卷积计算，得到另一个分辨率的特征信息。