[发明专利]一种视频补全方法

权利要求书

1.一种视频补全方法，其特征在于，通过重建三维场景对存在内容缺失的缺失视频序列进行补全，包括如下步骤：

步骤1，通过预设的深度图网络对所述缺失视频序列进行识别，得到每一帧缺失视频图像的深度图；

步骤2，通过预设的位姿网络识别所述缺失视频序列中每相邻两帧之间的相对相机位姿；

步骤3，基于所述深度图以及所述相对相机位姿并使用截断符号距离函数进行所述深度图的融合从而构建对应所述缺失视频序列中的视频背景的三维场景；

步骤4，利用所述相对相机位姿以及相机内参将所述三维场景投影到所述缺失视频序列中从而对每帧的缺损区域进行补全得到补全视频序列；

步骤5，利用预设的缺失补全网络对所述补全视频序列进行二次补全从而形成不具有内容缺失的完整视频序列，其中，所述缺失补全 网络为常规的视频补全网络，

其中，步骤S3包括以下子步骤：

步骤3-1，对所述深度图进行预处理，利用中位数和标准差统计量过滤所述深度图中的离群点得到预处理深度图；

步骤3-2，根据所述预处理深度图以及所述相对相机位姿通过所述截断符号距离函数进行三维重建，

其中，使用所述截断符号距离函数来表示重建的所述三维场景，所述截断符号距离函数所用场景三维分辨率随所述深度图和所述相对相机位姿动态调整。

2.根据权利要求1所述的视频补全方法，其特征在于：

其中，所述截断符号距离函数使用所述缺失视频序列中第一帧所对应的相机坐标系作为世界坐标系。

3.根据权利要求1所述的视频补全方法，其特征在于：

其中，所述步骤4中将所述三维场景投影到所述缺失视频序列中时，将三维场景的像素点投影到所述缺失视频序列的每一帧，并对每一帧使用两次2×2的最大池化操作增加有效像素点数量从而完成所述补全。

4.根据权利要求1所述的视频补全方法，其特征在于：

其中，所述深度图网络以及所述位姿网络预先通过最小投影损失函数和平滑损失函数完成联合训练，

所述联合训练采用无监督训练方法。

5.一种视频补全装置，其特征在于，通过重建三维场景对存在内容缺失的缺失视频序列进行补全，包括：

深度图识别部，存储有预设的深度图网络，用于通过所述深度图网络对所述缺失视频序列进行识别，得到每一帧缺失视频图像的深度图；

相机位姿识别部，存储有预设的位姿网络，用于通过所述位姿网络识别所述缺失视频序列中每相邻两帧之间的相对相机位姿；

三维场景构建部，基于所述深度图以及所述相对相机位姿并使用截断符号距离函数进行所述深度图的融合从而构建对应所述缺失视频序列中的视频背景的三维场景；

视频补全部，用于利用所述相对相机位姿和以及相机内参将所述三维场景投影到所述缺失视频序列中从而对每帧的缺损区域进行补全得到补全视频序列；

视频二次补全部，存储有预设的缺失补全网络，用于通过所述缺失补全网络对所述补全视频序列进行二次补全从而形成不具有内容缺失的完整视频序列，其中，所述缺失补全网络为常规的视频补全网络，

其中，三维场景构建部按以下步骤构建所述三维场景：

对所述深度图进行预处理，利用中位数和标准差统计量过滤所述深度图中的离群点得到预处理深度图；

根据所述预处理深度图以及所述相对相机位姿通过所述截断符号距离函数进行三维重建，

其中，使用所述截断符号距离函数来表示重建的所述三维场景，所述截断符号距离函数所用场景三维分辨率随所述深度图和所述相对相机位姿动态调整。