[发明专利]视频的目标分割方法、系统、终端及存储介质

说明书

本发明公开了视频的目标分割方法、系统、终端及存储介质，该方法包括：根据过往分割结果确定待分割视频帧关联的过往帧特征；根据所述过往分割结果，以及时序处于所述待分割视频帧之后的未分割视频帧，确定所述待分割视频帧关联的时空全局特征；基于所述时空全局特征以及所述过往帧特征，生成所述待分割视频帧对应的分割结果。通过本申请的技术方案提高视频分割效果。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频的目标分割方法、系统、终端及存储介质。

背景技术

视频目标分割特别是视频人像分割在业界具有特别广泛的应用。目前，通用算法的流程是维护一个内存块，存放之前帧的分割结果，对第t帧视频画面进行分割时，参考存放在内存块中的t帧之前的分割结果，得到一个时序稳定的分割结果。但是，如果在t帧存在镜头拼接、机位变换等现象，那么第t帧的画面内容相较于前面的视频序列会存在突变，待分割目标的外观及在画面中的位置也会发生剧烈变化，在内存块中将找不到和t帧画面中目标相关的信息，导致分割效果很差。

发明内容

本申请实施例通过提供一种视频的目标分割方法、系统、终端及存储介质，旨在解决视频分割效果差的问题。

本申请实施例提供了一种视频的目标分割方法，所述视频的目标分割方法，包括：

根据过往分割结果确定待分割视频帧关联的过往帧特征；

根据所述过往分割结果，以及时序处于所述待分割视频帧之后的未分割视频帧，确定所述待分割视频帧关联的时空全局特征；

基于所述时空全局特征以及所述过往帧特征，生成所述待分割视频帧对应的分割结果。

在一实施例中，所述根据所述过往分割结果，以及时序处于所述待分割视频帧之后的未分割视频帧，确定所述待分割视频帧关联的时空全局特征的步骤包括：

将所述过往分割结果以及所述未分割视频帧输入时空全局卷积网络，并获取所述时空全局卷积网络的输出结果；

将所述输出结果作为空域卷积网络的输入，通过空域卷积网络得到所述时空全局特征。

在一实施例中，所述时空全局卷积网络包括二维空域卷积核以及一维时域卷积核，且所述二维空域卷积核与一维时域卷积核串联连接；所述将所述过往分割结果以及所述未分割视频帧输入时空全局卷积网络，并获取所述时空全局卷积网络的输出结果的步骤包括：

将所述过往分割结果以及所述未分割视频帧依次经过所述二维空域卷积核以及所述一维时域卷积核，得到时空全局卷积后的视频帧；

将所述过往分割结果、所述未分割视频帧以及所述时空全局卷积后的视频帧相加，得到所述时空全局卷积网络的输出结果。

在一实施例中，所述将所述过往分割结果以及所述未分割视频帧输入时空全局卷积网络，并获取所述时空全局卷积网络的输出结果的步骤包括：

更改所述过往分割结果中背景区域的像素值；

将已更改所述像素值的所述过往分割结果以及所述未分割视频帧输入时空全局卷积网络，并获取所述时空全局卷积网络的输出结果。

在一实施例中，所述基于所述时空全局特征以及所述过往帧特征，生成所述待分割视频帧对应的分割结果的步骤包括：

确定所述待分割视频帧的降采样特征；

确定所述时空全局特征与所述过往帧特征的拼接特征；

将所述降采样特征以及所述拼接特征输入解码网络，并获取所述解码网络的输出结果；

根据所述解码网络的输出结果得到所述待分割视频帧对应的分割结果。

在一实施例中，所述根据过往分割结果确定待分割视频帧关联的过往帧特征的步骤包括：