[发明专利]一种视频语义分割方法、装置及存储介质

权利要求书

1.一种视频语义分割方法，其特征在于，包括：

确定样本视频中每帧样本图像的参考掩码矩阵；

使用多个训练样本对，对视频语义分割模型进行训练直至训练成功；其中，每个训练样本对包括M组样本输入数据和一个目标掩码矩阵，每组样本输入数据包括一个样本图像和一个掩码矩阵；所述多个训练样本对包括第一类训练样本对和第二类训练样本对，每个第一类训练样本对的M组样本输入数据中第一组样本输入数据包括第一图像和第一掩码矩阵，第二组样本输入数据包括第二图像和第二掩码矩阵，第一图像和第二图像不同，并且第一掩码矩阵和第二掩码矩阵均是第二图像对应的参考掩码矩阵，目标掩码矩阵是第一图像对应的参考掩码矩阵；每个第二类训练样本对中的M组样本输入数据均包括相同的样本图像和全零掩码矩阵，目标掩码矩阵是所述相同的样本图像对应的参考掩码矩阵；M是大于1的整数；

根据训练后的视频语义分割模型确定待处理视频的第一帧图像的预测掩码矩阵；

根据待处理视频的第一帧图像的预测掩码矩阵确定其它帧图像的预测掩码矩阵；

根据待处理视频的各帧图像的预测掩码矩阵对待处理视频进行语义分割。

2.如权利要求1所述的方法，其特征在于，

M大于2时，每个第一类训练样本对中的M组样本输入数据中除第一组样本输入数据和第二组样本输入数据之外的其它组样本输入数据包括一样本图像和对应的参考掩码矩阵。

3.如权利要求1所述的方法，其特征在于，

所述第二类训练样本对包含的训练样本对的数量，占所述第二类训练样本对包含的训练样本对的数量与所述第一类训练样本对包含的训练样本对的数量之和的比例，是设定概率。

4.如权利要求1所述的方法，其特征在于，

所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：循环执行以下过程直至对视频语义分割模型训练成功；

以设定概率确定待构建的训练样本对中的掩码矩阵是否设置为全零掩码矩阵；

如果是，从所述样本视频中随机选择一个样本图像，根据选择出的样本图像和全零掩码矩阵，构建一个第二类训练样本对；

如果否，从所述样本视频中选择M个样本图像，确定M个样本图像中每个样本图像对应的参考掩码矩阵，根据选择出的M个样本图像和对应的参考掩码矩阵，构建一个第一类训练样本对；

使用构建出的训练样本对，对视频语义分割模型进行训练。

5.如权利要求1所述的方法，其特征在于，

所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：

循环执行以下过程直至对视频语义分割模型训练成功；

从所述样本视频中选择M个样本图像；

以设定概率确定待构建的训练样本对中的掩码矩阵是否设置为全零掩码矩阵；

如果是，从所述M个样本图像中选择一个样本图像，根据选择出的样本图像和全零掩码矩阵，构建一个第二类训练样本对；

如果否，确定所述M个样本图像中每个图像帧对应的参考掩码矩阵，根据选择出的M个样本图像和对应的参考掩码矩阵，构建一个第一类训练样本对；

使用构建出的训练样本对，对视频语义分割模型进行训练。

6.如权利要求1所述的方法，其特征在于，

所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：

以设定概率确定所述第一类训练样本对包含的训练样本对的数量与所述第二类训练样本对包含的训练样本对的数量的比例，根据所述比例确定所述第一类训练样本对和所述第二类训练样本对；

使用确定出的多个训练样本对，对视频语义分割模型进行训练直至训练成功。

7.如权利要求1所述的方法，其特征在于，

所述根据训练后的视频语义分割模型确定待处理视频的第一帧图像的预测掩码矩阵，包括：

构建M对相同的输入数据，每对输入数据均包括待处理视频的第一帧图像和全零掩码矩阵；

将所述M对输入数据依次输入所述训练后的视频语义分割模型，将所述训练后的视频语义分割模型的输出结果作为待处理视频的第一帧图像的预测掩码矩阵。