[发明专利]视频填充方法、装置、设备及存储介质

说明书

本申请实施例公开了一种视频填充方法、装置、设备及存储介质，涉及人工智能、深度学习、计算机视觉、图像填充技术领域，视频填充方法包括：获取视频中的待填充图像帧、所述待填充图像帧的多个相邻图像帧和至少一个循环反馈帧；分别抽取所述待填充图像帧、所述多个相邻图像帧和所述循环反馈帧的特征；将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐，并将对齐后的特征融合，得到融合特征；将所述待填充图像帧的特征与所述融合特征进行组合处理，得到组合特征；基于所述组合特征重建图像帧。利用本申请能够实现高质量的视频填充。

技术领域

本申请涉及人工智能、深度学习、计算机视觉、图像填充技术领域，具体地，涉及一种视频填充方法、装置、设备以及存储介质。

背景技术

图像填充技术有广泛的应用场景，例如图像编辑、图像修复、移除图像中的特定物体，等等。现有图像填充技术大多基于块匹配或纹理匹配的方法，使用普通的卷积神经网络处理。将图像填充技术应用在对视频的填充处理中，就是对视频文件的多个视频帧逐帧处理，各个视频帧处理之间相互独立，导致后期视频文件整体容易表现出画面抖动、闪烁、模糊等问题，视频填充效果差强人意。

发明内容

本申请提供了一种视频填充方法、装置、设备以及存储介质。

根据本申请的第一方面，提供了一种视频填充方法，包括：

获取视频中的待填充图像帧、所述待填充图像帧的多个相邻图像帧和至少一个循环反馈帧，其中，所述多个相邻图像帧包括所述待填充图像帧之前的多个图像帧和所述待填充图像帧之后的多个图像帧，所述待填充图像帧和所述多个相邻图像帧中包括缺失区域，所述循环反馈帧中不存在缺失区域；

分别抽取所述待填充图像帧、所述多个相邻图像帧和所述循环反馈帧的特征；

将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐，并将对齐后的特征融合，得到融合特征；

将所述待填充图像帧的特征与所述融合特征进行组合处理，得到组合特征；

基于所述组合特征重建图像帧，重建的图像帧中不存在缺失区域；其中以本次重建的图像帧作为下一个待填充图像帧的填充过程中的循环反馈帧。

根据本申请的第二方面，提供了一种视频填充装置，包括：

图像帧获取模块，用于获取视频中的待填充图像帧、所述待填充图像帧的多个相邻图像帧和至少一个循环反馈帧，其中，所述多个相邻图像帧包括所述待填充图像帧之前的多个图像帧和所述待填充图像帧之后的多个图像帧，所述待填充图像帧和所述多个相邻图像帧中包括缺失区域，所述循环反馈帧中不存在缺失区域；

特征抽取模块，用于分别抽取所述待填充图像帧、所述多个相邻图像帧和所述循环反馈帧的特征；

特征对齐融合模块，用于将所述多个相邻图像帧的特征以及所述循环反馈帧的特征分别与所述待填充图像帧的特征对齐，并将对齐后的特征融合，得到融合特征；

特征组合模块，用于将所述待填充图像帧的特征与所述融合特征进行组合处理，得到组合特征；

图像帧重建模块，用于基于所述组合特征重建图像帧，重建的图像帧中不存在缺失区域；其中以本次重建的图像帧作为下一个待填充图像帧的填充过程中的循环反馈帧。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。