[发明专利]视频处理模型训练方法、装置以及设备

权利要求书

1.一种视频处理模型训练方法，包括：

获取掩膜视频帧，其中，所述掩膜视频帧包括可见视频块和掩膜视频块；

将所述掩膜视频帧输入至编码器，学习所述掩膜视频帧的特征；

将所述掩膜视频帧的特征分别输入至视觉解码器和运动解码器，预测所述掩膜视频帧的视觉码本和隐藏运动信息；

基于所述视觉码本和所述隐藏运动信息计算损失；

基于所述损失对所述编码器、所述视觉解码器和所述运动解码器的参数进行调整，得到视频处理模型。

2.根据权利要求1所述的方法，其中，所述将所述掩膜视频帧输入至编码器，学习所述掩膜视频帧的特征，包括：

将所述可见视频块输入至第一编码器，学习所述可见视频块的特征；

将所述可见视频块的特征输入至隐变量回归器，得到所述掩膜视频块的预测特征。

3.根据权利要求2所述的方法，其中，所述将所述掩膜视频帧的特征分别输入至视觉解码器和运动解码器，预测所述掩膜视频帧的视觉码本和隐藏运动信息，包括：

将所述掩膜视频块的预测特征分别输入至所述视觉解码器和所述运动解码器，预测所述视觉码本和所述隐藏运动信息。

4.根据权利要求3所述的方法，其中，所述基于所述视觉码本和所述隐藏运动信息计算损失，包括：

将所述视觉码本输入至预先训练的分词器，生成离散码本；

基于离散码本计算交叉熵损失；

基于所述隐藏运动信息，计算所述掩膜视频块对应的像素差值；

基于所述像素差值，计算均方误差损失。

5.根据权利要求4所述的方法，其中，所述将所述掩膜视频帧输入至编码器，学习所述掩膜视频帧的特征，还包括：

将所述掩膜视频块输入至第二编码器，学习所述掩膜视频块的特征。

6.根据权利要求5所述的方法，其中，所述方法还包括：

基于所述掩膜视频块的预测特征和所述掩膜视频块的特征，计算对齐损失。

7.根据权利要求6所述的方法，其中，所述基于所述损失对所述编码器、所述视觉解码器和所述运动解码器的参数进行调整，得到视频处理模型，包括：

计算所述对齐损失、所述交叉熵损失与所述均方误差损失之和，得到总损失；

基于所述总损失对所述第一编码器、所述第二编码器、所述视觉解码器和所述运动解码器的参数进行调整，得到所述视频处理模型。

8.根据权利要求2所述的方法，其中，所述隐变量回归器由堆叠的交叉注意力模块构成，所述交叉注意力模块采用所述可见视频块的隐变量表示作为键和值，将可学习的查询掩膜作为查询，并通过交叉注意力来预测所述掩膜视频块的特征。

9.根据权利要求1-8中任一项所述的方法，其中，所述获取掩膜视频帧，包括：

获取视频帧；

对所述视频帧中的预设比例的视频块进行随机掩膜，得到所述掩膜视频帧。

10.根据权利要求1-8中任一项所述的方法，其中，所述方法还包括：

获取目标任务的训练样本集，其中，所述训练样本集中的训练样本包括样本视频和所述样本视频的目标任务处理结果，其中，所述目标任务包括以下至少一项：图像分类、目标检测、语义分割和动作识别；

将所述样本视频作为输入，将所述样本视频的目标任务处理结果作为输出，对所述视频处理模型继续进行训练。

11.一种视频处理方法，包括：

获取目标任务的待处理视频，其中，所述目标任务包括以下至少一项：图像分类、目标检测、语义分割和动作识别；

将所述待处理视频输入至视频处理模型，得到所述待处理视频的目标任务处理结果，其中，所述视频处理模型是采用权利要求1-10中任一项所述的方法训练得到的。