[发明专利]一种视频分割方法、装置、计算机设备和存储介质

说明书

本公开提供了一种视频分割方法、装置、计算机设备和存储介质，其中，该方法包括：获取待分割视频；针对待分割视频中的每帧目标图像，基于目标图像的初始图像特征和预设卷积特征，确定目标图像对应的第一实体预测结果和目标图像对应的各第一实体的第一动态卷积特征；利用第一实体预测结果和所述初始图像特征，将各个第一动态卷积特征分别与目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个第一实体的中间动态卷积特征；基于每帧目标图像对应的各个第一实体的中间动态卷积特征，确定待分割视频对应的全景分割结果。

技术领域

本公开涉及图像分割技术领域，具体而言，涉及一种视频分割方法、装置、计算机设备和存储介质。

背景技术

视频全景分割作为视频感知任务中的一种复杂任务，其目的在于准确分割出视频中的各个语义实体、实例实体以及实例实体对应的标识。当前的视频全景分割方法，在进行视频全景分割的过程中，不仅需要复杂的分割流程，还需要融合各个实体在像素级别上的时序特征，以实现对实体标识的确定，增加了视频全景分割的计算量。

发明内容

本公开实施例至少提供一种视频分割方法、装置、计算机设备和存储介质。

第一方面，本公开实施例提供了一种视频分割方法，包括：

获取待分割视频；

针对所述待分割视频中的每帧目标图像，基于所述目标图像的初始图像特征和预设卷积特征，确定所述目标图像对应的第一实体预测结果和所述目标图像对应的各第一实体的第一动态卷积特征；

利用所述第一实体预测结果和所述初始图像特征，将各个第一动态卷积特征分别与所述目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个所述第一实体的中间动态卷积特征；

基于每帧所述目标图像对应的各个所述第一实体的所述中间动态卷积特征，确定所述待分割视频对应的全景分割结果。

该实施方式，利用目标图像的第一实体预测结果和初始图像特征，对目标图像中各个第一实体的第一动态卷积特征和目标图像的前一帧图像对应的各个第二实体的第二动态卷积特征进行卷积特征融合，得到中间动态卷积特征；由于融合了目标图像中各个第一实体的第一动态卷积特征和前一帧图像对应的第二动态卷积特征，中间动态卷积特征不仅能够更精准地表征各个第一实体对应的特征，还有利于后续对分割出的图像中的各个目标实体进行追踪。如此，利用每帧目标图像对应的中间动态卷积特征，能够实现在实体级别上对每帧目标图像进行精准全景分割，进而得到待分割视频对应的精准的全景分割结果；此外，上述视频全景分割的核心过程在于将目标图像对应的第一动态卷积特征和前一帧图像对应的第二动态卷积特征进行融合，也即不需要融合各个实体在像素级别上的时序特征，可以减少视频全景分割的计算量，在保障分割结果准确性的前提下，节省了计算资源。

在一种可能的实施方式中，所述利用所述第一实体预测结果和所述初始图像特征，将各个所述第一动态卷积特征分别与所述目标图像的前一帧图像对应的第二实体的第二动态卷积特征进行卷积特征融合，得到各个所述第一实体的中间动态卷积特征，包括：

对所述第一实体预测结果和所述初始图像特征进行特征融合，得到融合后的目标图像特征；

利用所述目标图像特征，对所述第二实体的所述第二动态卷积特征进行更新，得到所述第二实体对应更新后的第三动态卷积特征；

将所述第二实体的所述第三动态卷积特征和所述第一实体的所述第一动态卷积特征进行卷积特征融合，得到所述中间动态卷积特征。

该实施方式，利用目标图像对应的目标图像特征对第二实体的第二动态卷积特征进行更新，可以得到融合了目标图像特征的第三动态卷积特征，再通过第三动态卷积特征和第一动态卷积特征的卷积特征融合，可以得到能够更精准地表征各个第一实体对应的特征的中间动态卷积特征。