[发明专利]一种视频语义分割方法、装置及存储介质

说明书

本公开提供了一种视频语义分割方法、装置及存储介质，此方法包括：使用多个训练样本对，对视频语义分割模型进行训练直至训练成功；多个训练样本对包括第一类训练样本对和第二类训练样本对，每个第二类训练样本对中的M组样本输入数据均包括相同的样本图像和全零掩码矩阵，目标掩码矩阵是相同的样本图像对应的参考掩码矩阵；根据训练后的视频语义分割模型确定待处理视频的第一帧图像的预测掩码矩阵。通过模拟待处理视频的第一帧图像没有前一帧图像的情况，可以自动确定出待处理视频的第一帧图像的预测掩码矩阵，从而解决了实际工业应用中待分割视频的第一帧图像的掩码未知导致的无法进行视频语义分割的问题。

技术领域

本文涉及移动终端数据处理技术领域，尤其涉及一种视频语义分割方法、装置及存储介质。

背景技术

随着深度学习技术的发展，语义分割技术在各个数据集上取得了很大的突破，然而视频语义分割仍然是一个十分具有挑战性的任务。

语义分割任务要求给图像上的每一个像素赋予一个带有语义的标签，视频语义分割任务是要求给视频中的每一帧图像上的每一个像素赋予一个带有语义的标签。

相比于单张图像，视频数据本身有很强的帧冗余性和不确定性，如果把视频直接单帧地送入图像分割的模型中，会导致分割结果很不稳定。

近期，很多研究人员利用视频之间的时序信息来提高图像分割的精度。但是，很多论文或模型使用的测试数据默认视频第一帧的掩码是事先人为标注好的，并在此基础上得到视频的分割结果，在实际工业应用中，视频的第一帧图像的掩码是未知的。

发明内容

为克服相关技术中存在的问题，本文提供了一种视频语义分割方法、装置及介质。

根据本公开实施例的第一方面，提供一种视频语义分割方法，包括：

确定样本视频中每帧样本图像的参考掩码矩阵；

使用多个训练样本对，对视频语义分割模型进行训练直至训练成功；其中，每个训练样本对包括M组样本输入数据和一个目标掩码矩阵，每组样本输入数据包括一个样本图像和一个掩码矩阵；所述多个训练样本对包括第一类训练样本对和第二类训练样本对，每个第一类训练样本对的M组样本输入数据中第一组样本输入数据包括第一图像和第一掩码矩阵，第二组样本输入数据包括第二图像和第二掩码矩阵，第一图像和第二图像不同，并且第一掩码矩阵和第二掩码矩阵均是第二图像对应的参考掩码矩阵，目标掩码矩阵是第一图像对应的参考掩码矩阵；每个第二类训练样本对中的M组样本输入数据均包括相同的样本图像和全零掩码矩阵，目标掩码矩阵是所述相同的样本图像对应的参考掩码矩阵；M是大于1的整数；

根据训练后的视频语义分割模型确定待处理视频的第一帧图像的预测掩码矩阵；

根据待处理视频的第一帧图像的预测掩码矩阵确定其它帧图像的预测掩码矩阵；

根据待处理视频的各帧图像的预测掩码矩阵对待处理视频进行语义分割。

在一实施方式中，M大于2时，每个第一类训练样本对中的M组样本输入数据中除第一组样本输入数据和第二组样本输入数据之外的其它组样本输入数据包括一样本图像和对应的参考掩码矩阵。

在一实施方式中，所述第二类训练样本对包含的训练样本对的数量，占所述第二类训练样本对包含的训练样本对的数量与所述第一类训练样本对包含的训练样本对的数量之和的比例，是设定概率。

在一实施方式中，所述使用多个训练样本对，对视频语义分割模型进行训练直至训练成功，包括：循环执行以下过程直至对视频语义分割模型训练成功；

以设定概率确定待构建的训练样本对中的掩码矩阵是否设置为全零掩码矩阵；

如果是，从所述样本视频中随机选择一个样本图像，根据选择出的样本图像和全零掩码矩阵，构建一个第二类训练样本对；