[发明专利]模型训练、视频插帧方法，装置，设备以及存储介质

说明书

本公开提供了模型训练、视频插帧方法，装置，设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域。具体实现方案为：确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；分别将第一图像帧集合和第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；基于第一光流集合和第二光流集合，确定目标损失函数；根据目标损失函数，训练初始光流估计网络。本实现方式可以对不同分辨率的视频帧进行插帧，提高光流估计的准确性，进而提升视频插帧的效果。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，尤其涉及模型训练、视频插帧方法，装置，设备以及存储介质。

背景技术

视频插帧是视频处理中的一个经典任务，旨在根据一段视频中的前后两帧合成过渡平滑的中间帧。视频插帧的应用场景包括：第一，用于提高设备显示的视频帧率，让用户感觉视频更加清晰流畅；第二，在视频制作和编辑上，用于辅助实现视频的慢动作效果，或者用于在动画的关键帧之间增加中间帧，减少动画制作的人力支出；第三，用于视频的中间帧压缩，或者为其它计算机视觉任务提供辅助数据。

发明内容

本公开提供了一种模型训练、视频插帧方法，装置，设备以及存储介质。

根据第一方面，提供了一种模型训练方法，包括：确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；分别将第一图像帧集合和第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；基于第一光流集合和第二光流集合，确定目标损失函数；根据目标损失函数，训练初始光流估计网络。

根据第二方面，提供了一种视频插帧方法，包括：获取目标视频；根据目标视频中前后相邻的两个视频帧以及通过如第一方面所描述的方法训练得到的光流估计网络，确定相邻的两个视频帧之间的第一光流和第二光流；根据第一光流和第二光流，合成相邻的两个视频帧的中间视频帧。

根据第三方面，提供了一种模型训练装置，包括：分辨率扩展单元，被配置成确定插帧位置前后的第一参考帧和第二参考帧对应不同分辨率的第一图像帧集合和第二图像帧集合；第一光流计算单元，被配置成分别将第一图像帧集合和第二图像帧集合中的图像帧输入初始光流估计网络，得到第一光流集合和第二光流集合；损失函数确定单元，被配置成基于第一光流集合和第二光流集合，确定目标损失函数；模型训练单元，被配置成根据目标损失函数，训练初始光流估计网络。

根据第四方面，提供了一种视频插帧装置，包括：视频获取单元，被配置成获取目标视频；第二光流计算单元，被配置成根据目标视频中前后相邻的两个视频帧以及通过如第一方面所描述的方法训练得到的光流估计网络，确定相邻的两个视频帧之间的第一光流和第二光流；视频插帧单元，被配置成根据第一光流和第二光流，合成相邻的两个视频帧的中间视频帧。

根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法或执行如第二方面所描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据第七方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面所描述的方法。

根据本公开的技术可以对不同分辨率的视频帧进行插帧，提高光流估计的准确性，进而提升视频插帧的效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：