[发明专利]一种视频补全方法

说明书

本发明提供一种视频补全方法，其特征在于，通过重建三维场景对存在内容缺失的缺失视频序列进行补全，包括如下步骤：步骤1，通过预设的深度图网络识别缺失视频序列中每帧的深度图；步骤2，通过预设的位姿网络识别缺失视频序列中每相邻两帧之间的相对相机位姿；步骤3，基于深度图以及相对相机位姿并使用截断符号距离函数进行深度图的融合从而构建对应缺失视频序列中的视频背景的三维场景；步骤4，利用相对相机位姿以及相机内参将三维场景投影到缺失视频序列中从而对每帧的缺损区域进行补全得到补全视频序列；步骤5，利用预设的缺失补全网络对补全视频序列进行二次补全从而形成不具有内容缺失的完整视频序列。

技术领域

本发明属于计算机视觉视频修复领域，涉及一种视频补全方法，具体涉及一种通过估计视频序列深度信息并重建背景三维场景的视频补全方法。

背景技术

视频补全的目标是将视频中每一帧缺失损坏的部分根据附近区域和相邻帧进行合理的补全。不同于单张图片的补全，视频补全不仅仅要考虑缺失部分附近的图像内容，还要考虑当前帧附近帧的图像内容，即为同时满足空间一致性和时间一致性。

传统基于补丁匹配的方法虽然取得了一定的效果，但是需要耗费大量的计算能力，因此近年来通过基于神经网络的补全方法在视频补全方面取得了长足的进步。其中，一些方法(例如参考文献[1]及[2])通常需要训练一个大的卷积神经网络来直接补全缺失区域。然而，由于卷积网络的大小限制，时序长期一致性往往不能很好地保持，其结果经常会出现一些模糊不清或者内容不合理的问题。另外，还一些基于光流的方法(例如参考文献[3])，先估计出视频所对应的光流，再利用卷积神经网络对光流进行补全，最后使用补全的光流对原始视频缺失部分进行反传补全。但是，基于光流的方法仅能对相邻较近的视频帧保持较好的一致性，对相隔较远的视频帧的一致性保持较弱。

如上所述，现有的视频修复方法通常在待处理的视频背景复杂、视频中待补全区域面积较大时修复效果一般，容易出现模糊的结果，同时，现有方法的卷积网络对视频长期时序一致性抓取能力不足；而其它传统基于匹配的传统方法则具有计算量大、依赖视频相邻帧相似假设等缺点。因此这些视频修复方法都难以很好地完成对缺失视频序列的补全工作。

[1]Ya-Liang Chang,Zhe Yu Liu,Kuan-Ying Lee,and Winston Hsu.Free-formvideo inpainting with 3d gated convolution and temporal patchgan.In ICCV,2019.

[2]Seoung Wug Oh,Sungho Lee,Joon-Young Lee,and Seon Joo Kim.Onion-peel networks for deep video completion.In ICCV,2019.

[3]Rui Xu,Xiaoxiao Li,Bolei Zhou,and Chen Change Loy.Deep flow-guidedvideo inpainting.In CVPR,2019.

发明内容

为解决上述问题，提供一种能够对大缺失区域、复杂背景的视频进行有效补全的视频补全方法，本发明采用了如下技术方案：

本发明提供了一种视频补全方法，其特征在于，通过重建三维场景对存在内容缺失的缺失视频序列进行补全，包括如下步骤：步骤1，通过预设的深度图网络识别缺失视频序列中每帧的深度图；步骤2，通过预设的位姿网络识别缺失视频序列中每相邻两帧之间的相对相机位姿；步骤3，基于深度图以及相对相机位姿并使用截断符号距离函数进行深度图的融合从而构建对应缺失视频序列中的视频背景的三维场景；步骤4，利用相对相机位姿以及相机内参将三维场景投影到缺失视频序列中从而对每帧的缺损区域进行补全得到补全视频序列；步骤5，利用预设的缺失补全网络对补全视频序列进行二次补全从而形成不具有内容缺失的完整视频序列。