[发明专利]视频修复方法和视频修复模型的训练方法、装置

说明书

本公开提供了一种视频修复方法和视频修复模型的训练方法、装置，涉及人工智能领域，具体涉及深度学习、图像处理和计算机视觉等技术领域，可应用于视频处理和AIGC等场景。视频修复方法的具体实现方案为：提取待修复视频中视频帧序列的特征，得到图像特征；提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；以及对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。

技术领域

本公开涉及人工智能领域，具体涉及深度学习、图像处理和计算机视觉等技术领域，可应用于视频处理和AIGC等场景。

背景技术

随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以采用深度学习技术来对视频进行修复，以去除视频中的前景或其他目标物。

发明内容

本公开旨在提供一种提高修复效果的视频修复方法和视频修复模型的训练方法、装置、电子设备和存储介质。

根据本公开的一个方面，提供了一种视频修复方法，包括：提取待修复视频中视频帧序列的特征，得到图像特征；提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；以及对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。

根据本公开的另一个方面，提供了一种视频修复模型的训练方法，其中，视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络，训练方法包括：采用第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；样本数据还包括针对视频帧序列中目标视频帧的真值修复图像；采用第二特征提取网络提取样本数据中针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；采用融合网络拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；采用解码网络对编码特征进行解码，得到针对目标视频帧的预测修复图像；以及根据预测修复图像与真值修复图像之间的差异，对视频修复模型进行训练。

根据本公开的另一个方面，提供了一种视频修复装置，包括：第一特征提取模块，用于提取待修复视频中视频帧序列的特征，得到图像特征；第二特征提取模块，用于提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；特征融合模块，用于拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；以及解码模块，用于对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。

根据本公开的另一个方面，提供了一种视频修复模型的训练装置，其中，视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络；训练装置包括：第一特征提取模块，用于采用第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；样本数据还包括针对视频帧序列中目标视频帧的真值修复图像；第二特征提取模块，用于采用第二特征提取网络提取样本数据中针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；特征融合模块，用于采用融合网络拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；解码模块，用于采用解码网络对编码特征进行解码，得到针对目标视频帧的预测修复图像；以及模型训练模块，用于根据预测修复图像与真值修复图像之间的差异，对视频修复模型进行训练。

根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的视频修复方法或视频修复模型的训练方法。

根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的视频修复方法或视频修复模型的训练方法。