[发明专利]视频修复方法和视频修复模型的训练方法、装置

权利要求书

1.一种视频修复方法，包括：

提取待修复视频中视频帧序列的特征，得到图像特征；

提取针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征；所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域；

拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征；以及

对所述编码特征进行解码，得到针对所述视频帧序列中目标视频帧的修复图像。

2.根据权利要求1所述的方法，其中，所述拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征包括：

拼接所述图像特征和所述蒙版特征，得到拼接后特征；以及

采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征。

3.根据权利要求2所述的方法，其中，所述傅里叶卷积网络包括第一卷积子网络、傅里叶变换子网络、第二卷积子网络和傅里叶逆变换子网络；

所述采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征包括：

采用所述第一卷积子网络对所述拼接后特征进行融合处理，得到第一融合特征；

采用所述傅里叶变换子网络对所述第一融合特征进行傅里叶变换处理，得到频域特征；

采用所述第二卷积子网络对所述频域特征进行融合处理，得到第二融合特征；以及

采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到所述编码特征。

4.根据权利要求3所述的方法，其中，所述采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到所述编码特征，包括：

采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到时域特征；以及

融合所述时域特征和所述第一融合特征，得到所述编码特征。

5.根据权利要求1所述的方法，其中：

所述提取待修复视频中视频帧序列的特征，得到图像特征，包括：

采用第一时序卷积网络对所述视频帧序列进行处理，得到所述图像特征；以及

所述提取针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征，包括：

采用第二时序卷积网络对所述蒙版图序列进行处理，得到所述蒙版特征。

6.根据权利要求1所述的方法，还包括：

从所述待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和所述预定数量个所述目标视频帧的在后视频帧；以及

将所述在前视频帧排在所述目标视频帧之前并将所述在后视频帧排在所述目标视频帧之后，得到所述视频帧序列，

其中，所述目标视频帧为所述视频帧序列中的中间视频帧；第一视频帧与所述目标视频帧之间的播放时刻差值小于或等于第二视频帧与所述目标视频帧之间的播放时刻差值，所述第一视频帧为所述视频帧序列中靠近所述目标视频帧的视频帧，所述第二视频帧为所述视频帧序列中远离所述目标视频帧的视频帧。

7.根据权利要求6所述的方法，其中，所述从所述待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和所述预定数量个所述目标视频帧的在后视频帧，包括：

响应于确定所述目标视频帧属于所述待修复视频中播放时刻在前的预定数量个视频帧，根据所述在后视频帧获取所述在前视频帧；或者，

响应于确定所述目标视频帧属于所述待修复视频中播放时刻在后的预定数量个视频帧，根据所述在前视频帧获取所述在后视频帧。

8.根据权利要求1所述的方法，其中，所述蒙版图序列中的至少两个蒙版图与所述视频帧序列中的至少两个视频帧一一对应；所述蒙版图指示对应的视频帧中待修复像素所在的区域。