[发明专利]一种基于图像修复的图像3D化方法

权利要求书

1.一种基于图像修复的图像3D化方法，其特征在于，包括：

S1、获取待处理图像，通过预先训练的深度估计神经网络对所述待处理图像进行深度提取，从而获取图像深度图，所述待处理图像为双目图像；

S2、基于预设的深度边缘阈值对待处理图像进行前景和后景的划分，从而获取初级背景边缘图，再对所述初级背景边缘图像进行基于滤波和连通域检测的图像后处理，从而获取精确背景边缘图；

S3、根据预设的3D效果确定所述精确背景边缘图中需要修复的图像范围，并由所述待处理图像中获取修复处理所用的内容素材，所述3D效果被设置为通过前景图像与背景图像之间的相对位置表征；

S4、将所述待处理图像、精确背景边缘图、需要修复的背景图像范围以及内容素材输入预先训练的图像修复模型中，从而生成修复的背景图像；

S5、将前景图像与修复的背景图像结合，按照预设的3D效果输出转换视频。

2.根据权利要求1所述的一种基于图像修复的图像3D化方法，其特征在于，通过预先训练的深度估计神经网络对所述待处理图像进行深度提取，包括：

基于深度估计神经网络对双目图像进行左右视图的匹配，进而获取匹配视差图；

基于以下计算获取深度图：

其中，f表示焦距，b表示基线距离，ps表示像素距离，disp表示匹配视差图。

3.根据权利要求2所述的一种基于图像修复的图像3D化方法，其特征在于，所述深度估计神经网络训练时，通过对训练数据进行随机的小幅度旋转、亮度和对比度调节以及输入图像分块的方式进行数据增强处理，再用处理后的训练数据重新训练深度估计神经网络。

4.根据权利要求1所述的一种基于图像修复的图像3D化方法，其特征在于，所述图像修复模型包括边缘补全网络以及图像修复网络；所述边缘补全网络和图像修复网络均采用结构相同的生成对抗网络，所述生成对抗网络包括生成器和鉴别器；所述生成器包括三次下采样、中间层以及与三次下采样对称的三次上采样，所述中间层包括具有空洞卷积的8个残差块结构；所述鉴别器包括五层卷积层。

5.根据权利要求1所述的一种基于图像修复的图像3D化方法，其特征在于，将前景图像与修复的背景图像结合，按照预设的3D效果输出转换视频，包括：

对所述深度图进行降噪处理，通过准确的深度边缘来区分不同深度下的目标；

对处于不同深度层的像素分成不同的图连通域，基于语义分割算法将图像分割成不同目标区域的组合；

基于图像修复网络进行缺失背景修复；

通过图像渲染将图像前景和修复后的图像背景合成视频。