[发明专利]基于多源显著性和时空榜样适配的弱监督视频目标分割方法

权利要求书

1.基于多源显著性和时空榜样适配的弱监督视频目标分割方法，其特征包括构造时空显著掩码训练目标、构造时空榜样训练目标，以及训练与测试弱监督目标分割网络：

步骤1：构造数据集

构造训练弱监督视频目标分割图像集，包括视频帧和对应的弱标签；其中，构造的训练集表示为I^t表示视频帧RGB图像，Y^t表示I^t对应的类别标注；

构造时空显著掩码训练目标阶段包括：

步骤2：提取空间显著性掩码

输入视频帧I^t，使用空间显著检测器作用于视频帧I^t提取空间显著性掩码表示视频中空间最显著区域，计算公式如下：

其中σ表示sigmoid函数，up表示双线性采样操作，I^t表示输入尺寸为c*h*w的视频帧,c＝3表示输入的为RGB图像，的尺寸为1*h*w；

步骤3：提取时间显著性掩码

输入视频帧I^t和I^t+1提取视频相邻帧对应的光流，使用最小栅栏距离(MBD)作用于光流提取时间显著性掩码表示视频中运动最明显区域；

步骤4：融合时间和空间显著性掩码，得到时空显著性掩码

以视频帧I^t为输入，以步骤2得到的空间显著性掩码和步骤3得到的时间显著性掩码为训练目标，训练时空显著融合网络随后使用训练好的对输入I^t前行推理得到时空显著性掩码能够很大程度上过滤掉了运动的背景信息。

构造时空榜样训练目标阶段包括：

步骤5：计算视频帧的时空契合度，选择部分视频帧作为时空榜样信息

计算步骤2得到的空间显著性掩码和步骤3得到的时间显著性掩码的契合度，并将其进行排序，选择同一个类别视频中前N个时空契合度高的视频帧作为时空榜样信息；

训练与测试弱监督目标分割网络阶段包括：

步骤6：计算损失，更新弱监督视频目标分割网络参数

使用步骤4得到的时空显著性掩码、步骤5得到的时空榜样信息作为弱监督视频监督信息，计算分割损失和时空榜样适配损失训练弱监督目标分割网络。当分割损失和时空榜样适配损失同时达到最小时，弱监督目标分割网络训练完成；

步骤7：输出弱监督视频目标分割结果

针对输入视频帧，将其输入步骤6训练的弱监督视频目标分割网络进行前向推理，得到最终目标分割结果。

2.根据权利要求1所述的基于多源显著性和时空榜样适配的弱监督视频目标分割方法，其特征在于，步骤3具体包括以下步骤：

首先将视频帧I^t和I^t+1输入到现有光流提取网络FlowNet2生成光流图：

其中表示FlowNet2，随后最小栅栏距离MBD方法作用于光流图O_t→t+1，通过迭代最小化在光流图O_t→t+1上的最小块路径损失，得到视频在t时刻对应的时间显著性掩码具体公式如下：

在此过程中，通过光栅扫描的方法遍历光流图O_t→t+1中的每个像素位置，通过使用每个位置x附近的一半的像素y来迭代最小化在位置x处的距离，从而生成距离图

其中P(y)表示到达y的路径，而y,x表示从y到达x的边，表示路径损失函数：

其中P_y(x)表示P(y)·y,x)，和表示P(y)的最大和最小值。

3.根据权利要求1所述的基于多源显著性和时空榜样适配的弱监督视频目标分割方法，其特征在于，步骤4具体包括以下步骤：当前视频帧I^t为输入，步骤2得到的空间显著性掩码和步骤3得到的时间显著性掩码为训练目标，计算多源融合损失来训练时空显著融合网络其中多源融合损失为：

其中表示多源融合显著区域，随后，通过前行推理得到时空显著性掩码能够很大程度上过滤掉了运动的背景信息。