[发明专利]视频插帧模型训练、视频插帧生成方法及相关装置

权利要求书

1.一种视频插帧模型训练方法，其特征在于，包括：

获取训练数据，所述训练数据包括：均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧，且同一级的所述训练标签帧、所述训练标签前帧和所述训练标签后帧的分辨率相同；

根据各级分辨率的所述训练标签前帧和各级分辨率的所述训练标签后帧利用所述视频插帧模型获取各级分辨率的训练标签插帧，根据各级分辨率的训练标签插帧和各级分辨率的所述训练标签帧获取生成损失，根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数，得到训练后的所述视频插帧模型，直至所述生成损失达到损失阈值；

其中，所述根据各级分辨率的所述训练标签前帧和各级分辨率的所述训练标签后帧利用所述视频插帧模型获取各级分辨率的训练标签插帧，包括：

获取各级分辨率的所述训练标签前帧的各级分辨率的训练标签前帧图像特征和各级分辨率的所述训练标签后帧的各级分辨率的训练标签后帧图像特征；

根据各级分辨率的所述训练标签前帧图像特征和各级分辨率的所述训练标签后帧图像特征获取各级分辨率的光流和掩码；

根据所述各级分辨率的所述训练标签前帧、各级分辨率的所述训练标签后帧、各级分辨率的所述光流和各级分辨率的所述掩码，得到各级分辨率的训练标签插帧。

2.如权利要求1所述的视频插帧模型训练方法，其特征在于，所述根据所述训练数据利用所述视频插帧模型获取各级分辨率的训练标签插帧的步骤包括：

获取具有相同当前级分辨率的所述训练标签前帧、所述训练标签后帧、训练标签前帧图像特征和训练标签后帧图像特征；

当所述当前级分辨率低于最大级分辨率时，利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码，当所述当前级分辨率等于最大级分辨率时，对具有低一级分辨率的上一级光流进行上采样得到具有最大级分辨率的当前级光流，对具有低一级分辨率的上一级掩码进行上采样得到具有最大级分辨率的当前级掩码；

根据所述训练标签前帧、所述训练标签后帧、所述当前级光流和所述当前级掩码，获取具有相同当前级分辨率的所述训练标签插帧，按照分辨率等级更新所述当前级分辨率，直至完成全部分辨率等级的所述训练标签插帧的获取，得到各级分辨率的训练标签插帧。

3.如权利要求2所述的视频插帧模型训练方法，其特征在于，所述利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码的步骤包括：

获取具有低一级分辨率的上一级光流；

对所述上一级光流进行上采样得到具有所述当前级分辨率的上一级采样光流；

根据所述训练标签后帧图像特征与所述上一级采样光流，计算所述训练标签后帧到所述训练标签前帧的后帧转换图像特征；

计算所述训练标签前帧图像特征和所述后帧转换图像特征之间的前帧互相关特征；

根据所述训练标签前帧图像特征和所述前帧互相关特征得到所述当前级光流和所述当前级掩码。

4.如权利要求3所述的视频插帧模型训练方法，其特征在于，利用以下公式计算所述训练标签前帧图像特征和所述后帧转换图像特征之间的前帧互相关特征：

其中，FA--训练标签前帧图像特征；

FB′--后帧转换图像特征；

X₁--训练标签前帧图像特征坐标；

X₂--后帧转换图像特征坐标；

，--卷积运算；

o--位移偏移；

k--互相关窗口大小。

5.如权利要求3所述的视频插帧模型训练方法，其特征在于，所述根据所述训练标签前帧图像特征和所述前帧互相关特征得到所述当前级光流和所述当前级掩码的步骤包括：

根据所述训练标签前帧图像特征和所述前帧互相关特征，利用深度神经网络，得到当前级融合特征、当前级中间光流和当前级中间掩码；

利用深度神经网络，根据所述当前级融合特征、当前级中间光流和当前级中间掩码获取当前级中间光流残差和当前级中间掩码残差；

计算所述当前级中间光流残差和所述当前级中间光流之和，得到所述当前级光流，计算所述当前级中间掩码和所述当前级中间掩码残差之和，得到所述当前级掩码。