[发明专利]边缘学习的图像填充方法、装置、终端及可读存储介质

说明书

本发明涉及图像处理领域，提供一种边缘学习的图像填充方法、装置、终端及可读存储介质，所述方法包括以下步骤：基于原始图像对应的灰度图像以及原始图像对应的掩模图像，确定背景灰度图像，而后基于原始图像对应的边缘图像以及所述掩模图像确定背景边缘图像，接下来基于所述背景灰度图像、所述背景边缘图像、所述掩模图像以及第一预设空洞卷积模型，生成缺失边缘图像，然后基于所述原始图像对应的背景图像、所述背景边缘图像、所述缺失边缘图像、所述掩模图像以及第二预设空洞卷积模型，生成原始图像对应的填充图像。通过两阶段的对抗模型实现了对待重建图像的边缘修复，而后进行颜色填充，使得填充区更好地再现图像精细细节。

技术领域

本发明涉及图像处理领域，尤其涉及一种边缘学习的图像填充方法、装置、终端及可读存储介质。

背景技术

图像修复指重建图像和视频中丢失或损坏的部分的过程。例如在博物馆中，这项工作常由经验丰富的博物馆管理员或者艺术品修复师来进行；数码世界中，图像修复又称图像插值或视频插值，指利用复杂的算法来替换已丢失、损坏的图像数据，主要替换一些小区域和瑕疵。

目前，通过填充一个已有图像补丁片段或者利用基于背景进行扩散填充，在修复图像时，过度平滑而使修复区域模糊不清，没有重建出理想的细节效果。

发明内容

本发明的主要目的在于提供一种边缘学习的图像填充方法、装置、终端及可读存储介质，旨在解决现有的图像修复无法重建出理想细节的技术问题。

为实现上述目的，本发明提供一种边缘学习的图像填充方法，所述边缘学习的图像填充方法包括以下步骤：

基于原始图像对应的灰度图像以及原始图像对应的掩模图像，确定背景灰度图像；

基于原始图像对应的边缘图像以及所述掩模图像确定背景边缘图像；

基于所述背景灰度图像、所述背景边缘图像、所述掩模图像以及第一预设空洞卷积模型，生成缺失边缘图像；

基于所述原始图像对应的背景图像、所述背景边缘图像、所述缺失边缘图像、所述掩模图像以及第二预设空洞卷积模型，生成原始图像对应的填充图像。

可选地，所述终端包括第一鉴别器，所述基于所述背景灰度图像、所述背景边缘图像、所述掩模图像以及第一预设空洞卷积模型，生成缺失边缘图像的步骤包括：

基于所述背景灰度图像、所述背景边缘图像以及所述掩模图像训练第一预设空洞卷积模型；

基于第一鉴别器确定所述第一预设空洞卷积模型是否收敛；

在确定所述第一预设空洞卷积模型收敛时，确定所述第一预设空洞卷积模型为第一目标空洞卷积模型；

基于所述背景灰度图像、所述背景边缘图像、所述掩模图像以及所述第一目标空洞卷积模型，生成缺失边缘图像。

可选地，所述基于第一鉴别器确定所述第一预设空洞卷积模型是否收敛的步骤之后，还包括：

在确定所述第一预设空洞卷积模型不收敛时，按照第一预设规则更新所述第一预设空洞卷积模型的第一学习率；

基于更新后的第一学习率更新所述第一预设空洞卷积模型，将更新后的第一预设空洞卷积模型作为第一预设空洞卷积模型，继续执行基于所述背景灰度图像、所述背景边缘图像以及所述掩模图像训练第一预设空洞卷积模型的步骤。

可选地，所述基于第一鉴别器确定所述第一预设空洞卷积模型是否收敛的步骤包括：

基于第一输入数据以及所述第一鉴别器，确定所述第一预设空洞卷积模型对应的第一对抗损失函数，其中，所述第一输入数据包括所述灰度图像、所述边缘图像和所述缺失边缘图像；