[发明专利]立体视觉虚拟图像空洞填补方法

说明书

本发明属于三维视频技术领域，具体涉及一种立体视觉虚拟图像空洞填补方法，该立体视觉虚拟图像空洞填补方法，包括以下步骤：S1:构建一个包括场景线索提取网络和纹理重建网络组成的框架模型；S2:对该框架模型进行端对端空洞填补训练，得到空洞填补框架网络；S3:把需要修复的立体合成图和空洞掩膜放入空洞填补框架网络中进行修复得到生成图像。本发明构建层次递进的空洞填补框架网络，以明显提升基于深度学习的网络模型对立体合成图像中空洞的修复效果。

技术领域

本发明属于三维视频技术领域，具体涉及一种立体视觉虚拟图像空洞填补方法。

背景技术

三维视频正变得越来越流行，并逐渐成为当前的发展趋势。然而，视频资源的匮乏已成为制约该行业崛起的一大瓶颈。在这种情况下，将2D视频转换为3D视频是解决这一问题的有效方法。DIBR绘制是基于深度图的2D/3D转换方法中的一个重要步骤。它可以渲染具有深度信息的虚拟立体视频，最终完成从2D到3D的“质的变化”。虽然这项技术有很多优点，但仍有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。

近年来，深度学习技术在一些应用上取得了巨大的成功，也包含常规的图像修复。然而由于立体图像合成过程中，产生的空洞往往分布于背景与前景的过渡区域，常规图像修复方法如果没有特别约束，仍然无法有效杜绝空洞填补过程中前背景区域产生语义混淆。

公布号为CN114841871A的发明专利公开了一种立体视觉虚拟图像空洞填补方法，包括步骤：构建一个包括边缘生成网络和纹理生成网络组成的框架模型；利用分步训练融合场景边缘和图层约束对框架模型进行空洞填补训练得到空洞填补框架网络；把需要修复的立体合成图和空洞掩膜放入空洞填补框架网络中进行修复得到生成图像；该发明的核心是讲图层约束作为线索，可以针对立体图像中空洞的分布特点，通过场景边缘和图层约束，在训练过程中将空洞的填充限制在背景图像区域进行，从而有效避免现有网络在修复过程中出现的填充内容语义混淆问题，从而提升3D虚拟图像渲染效果。

CN109472764A公开了一种图像合成和图像合成模型训练的方法、装置、设备和介质，解决图像添加特效单一且无法自定义的问题，实现为用户提供多种图像属性选择；但是无法根据图像的已知部分对缺失的未知部分进行填补，也并未针对立体合成图像的特点进行特别的设计，待补全的图像一般有较大的缺失空白区域，由于对大块空白区域的补全不仅涉及到图像的结构信息，还涉及到纹理信息的补全。

发明内容

本发明的目的在于针对现有技术中存在的问题提供一种立体视觉虚拟图像空洞填补方法，构建层次递进的空洞填补框架网络，以明显提升基于深度学习的网络模型对立体合成图像中空洞的修复效果。

本发明的技术方案是：

立体视觉虚拟图像空洞填补方法，包括以下步骤：

S1:构建一个包括场景线索提取网络和纹理重建网络组成的框架模型；

S2:对该框架模型进行端对端空洞填补训练，得到空洞填补框架网络；

S3:把需要修复的立体合成图和空洞掩膜放入空洞填补框架网络中进行修复得到生成图像。

具体的，所述步骤S1中场景线索提取网络基于对提取的场景图层分布图进行预测并生成定向场景影响度分布图；

所述纹理重建网络是包括生成器网络和判别器网络组成的生成对抗网络，所述生成器网络用于融合定向场景影响度分布图并将其作为场景软特征约束来进一步优化最终填补空洞后的立体合成图像，所述判别器网络用于对生成图像的质量进行判断。