[发明专利]视频插帧方法、装置、电子设备及存储介质

说明书

本申请公开了视频插帧方法、装置、电子设备及存储介质，涉及视频处理技术，其中方法可包括：针对待处理的第一图像和第二图像，利用训练得到的第一网络模型获取第一图像到中间帧图像的第一运动估计图、第二图像到中间帧图像的第二运动估计图以及遮挡估计图；其中，第一图像和第二图像为视频中的相邻两帧图像，第一图像为前一帧图像，第二图像为后一帧图像；根据第一运动估计图、第二运动估计图以及遮挡估计图确定出插入到第一图像和第二图像之间的中间帧图像。应用本申请所述方案，可提高获取到的中间帧图像的准确性等。

技术领域

本申请涉及计算机应用技术，特别涉及视频处理技术中的视频插帧方法、装置、电子设备及存储介质。

背景技术

视频插帧是指在相邻的视频帧图像中插入一帧或多帧图像，以使得视频播放更加顺滑、提升观看体验等，常用的场景包括将24帧率的视频变为48帧率视频播放以及对视频精彩镜头进行慢放等。

目前通常采用基于运动估计的视频插帧方法，如首先进行图像间的运动估计，然后基于运动估计信息进行运动补偿从而生成中间帧图像等，但这种方式得到的结果的准确性通常不高。

发明内容

有鉴于此，本申请提供了视频插帧方法、装置、电子设备及存储介质。

一种视频插帧方法，包括：

针对待处理的第一图像和第二图像，利用训练得到的第一网络模型获取所述第一图像到中间帧图像的第一运动估计图、所述第二图像到中间帧图像的第二运动估计图以及遮挡估计图；其中，所述第一图像和所述第二图像为视频中的相邻两帧图像，所述第一图像为前一帧图像，所述第二图像为后一帧图像；

根据所述第一运动估计图、所述第二运动估计图以及所述遮挡估计图确定出插入到所述第一图像和所述第二图像之间的所述中间帧图像。

根据本申请一优选实施例，该方法进一步包括：

设置M个不同的尺度，M为大于一的正整数，按照从小到大的顺序依次为尺度S_M～尺度S₁，S₁＝1，每一尺度分别为后一尺度的1/2，对于任一尺度Si，1≤i≤M，表示将所述第一图像和所述第二图像的长和宽的尺寸分别调整为原始尺寸的1/2^i-1；

将不同尺度的第一图像和第二图像分别输入所述第一网络模型，结合不同尺度下所述第一网络模型中的各中间特征图获取所述第一运动估计图、所述第二运动估计图以及所述遮挡估计图。

根据本申请一优选实施例，所述将不同尺度的第一图像和第二图像分别输入所述第一网络模型，结合不同尺度下所述第一网络模型中的各中间特征图获取所述第一运动估计图、所述第二运动估计图以及所述遮挡估计图包括：

将所述第一图像和所述第二图像下采样到所述尺度S_M后输入所述第一网络模型；

按照从小到大的顺序，将所述尺度S_M的后一尺度作为待处理尺度，并执行以下预定处理：

将所述第一图像和所述第二图像下采样到所述待处理尺度后输入所述第一网络模型；将所述待处理尺度的前一尺度下所述第一网络模型中的各中间特征图分别进行2倍的上采样，将上采样后的各中间特征图分别与所述待处理尺度下所述第一网络模型中的各同等尺寸的中间特征图进行融合；

若不存在所述待处理尺度的后一尺度，则获取所述待处理尺度下所述第一网络模型输出的所述第一运动估计图、所述第二运动估计图以及所述遮挡估计图，否则，将所述待处理尺度的后一尺度作为待处理尺度，重复执行所述预定处理。