[发明专利]一种图像和视频的重构方法、装置、终端设备及存储介质

权利要求书

1.一种图像的重构方法，其特征在于，包括：

获取待重构图像所对应的待重构语义标注图像；

将所述待重构语义标注图像输入至预设的图像重构模型中，以使所述图像重构模型对所述待重构语义标注图像进行图像重构，生成预设图像风格的重构图像；

其中，所述图像重构模型基于图像样本中各图像元素的元素主体图像和边缘过渡区域图像，通过预设的神经网络训练而成；所述图像样本包括至少一张预设图像风格的原始图像以及至少一张与所述原始图像对应的语义标注图像；

所述图像重构模型的构建方法包括：获取所述原始图像中各图像元素的第一元素主体图像以及第一边缘过渡区域图像；获取所述语义标注图像中各图像元素的第二元素主体图像以及第二边缘过渡区域图像；将各所述第一元素主体图像、各所述第一边缘过渡区域图像、各所述第二元素主体图像以及各所述第二边缘过渡区域图像，输入至预设的GAN神经网络中，对所述GAN神经网络中的生成器和判别器进行交替迭代训练，并将训练完成后的生成器作为所述图像重构模型。

2.如权利要求1所述的图像的重构方法，其特征在于，所述生成器包括：若干层级的隐藏层；

在训练所述生成器时，从各所述第二元素主体图像以及各所述第二边缘过渡区域图像中提取各图像的特征向量，生成特征向量集；将所述特征向量集分别输入至各层级的隐藏层中，对所述生成器中的各隐藏层进行训练；

其中，当待训练的隐藏层为第一层隐藏层时，根据所述特征向量集以及所述特征向量集在第一层隐藏层的影响权重，对所述待训练的隐藏层进行训练；

当所述待训练的隐藏层不为第一层隐藏层时，根据所述特征向量集、所述特征向量集在所述待训练的隐藏层的影响权重以及上一层隐藏层的输出结果，对所述待训练的隐藏层进行训练。

3.如权利要求2所述的图像的重构方法，其特征在于，所述从各所述第二元素主体图像以及各所述第二边缘过渡区域图像中提取各图像的特征向量，生成特征向量集，具体包括：

从各所述第二元素主体图像以及各所述第二边缘过渡区域图像中提取各图像的颜色像素矩阵，生成颜色像素矩阵集，将所述颜色像素矩阵集作为所述特征向量集。

4.如权利要求1所述的图像的重构方法，其特征在于，在将所述待重构语义标注图像输入至预设的图像重构模型中之前，还包括：

对所述待重构语义标注图像中各图像元素的种类进行识别；

在判断所述原始图像未包含所述待重构语义标注图像中所有图像元素的种类时，重新获取一原始图像以及对应的一语义标注图像作为图像样本，对所述神经网络进行训练，生成第二图像重构模型，继而将所述待重构语义标注图像输入至所述第二图像重构模型中，以使所述第二图像重构模型，对所述待重构语义标注图像进行图像重构，生成预设图像风格的重构图像；其中，重新获取的原始图像中包含了所述待重构语义标注图像中所有图像元素的种类。

5.如权利要求1所述的图像的重构方法，其特征在于，获取待重构语义标注图像，具体包括：

获取待重构图像，根据预设的图像语义分割模型，对所述待重构图像中各图像元素进行语义标注，获得所述待重构语义标注图像；

或则，直接获取用户绘制的待重构语义标注图像。

6.如权利要求1所述的图像的重构方法，其特征在于，通过预设的图像元素分割模型，对所述原始图像中的各图像元素以及所述语义标注图像中的各图像元素进行分割，获得各所述第一元素主体图像以及各所述第二元素主体图像。

7.如权利要求1所述的图像的重构方法，其特征在于，将所述原始图像中的各图像元素沿元素边缘，按各图像元素的面积向外扩展第一预设比例后所增加的图像区域，与将所述原始图像中的各图像元素沿元素边缘，按各图像元素的面积向内收缩第二预设比例后所减少的图像区域进行组合，获得各所述第一边缘过渡区域图像；

将所述语义标注图像中各图像元素沿元素边缘，按各图像元素的面积向外扩展第一预设比例后所增加的图像区域，与将所述语义标注图像中各图像元素沿元素边缘，按各图像元素的面积向内收缩第二预设比例后所减少的图像区域进行组合，获得各所述第二边缘过渡区域图像。