[发明专利]一种语义导向的半监督视频对象分割方法

权利要求书

1.一种语义导向的半监督视频对象分割方法，其特征在于，主要包括卷积神经网络提取特征(一)；语义选择和语义传播(二)；通过条件分类器将外观模型与语义先验相结合(三)；训练网络(四)。

2.基于权利要求书1所述的卷积神经网络提取特征(一)，其特征在于，使用VGG16卷积神经网络作为骨干网；去除完全连接层和最后的池层，增加空间特征分辨率；添加跳过连接，提取超柱状体的特征，聚合来自不同层的多尺度信息；在第二、第三、第四和第五卷积层块相应的合并层之前，从它们之中提取输出特征图；然后调整特征图，使其与输入图像大小相同，并且将它们连接形成超柱状体的特性。

3.基于权利要求书1所述的语义选择和语义传播(二)，其特征在于，利用语义实例分割算法作为输入，估计待分割对象的语义；选择多任务网络级联(MNC)作为输入实例分割算法；MNC是一个多阶段网络，由三个主要部分组成：共享卷积层、区域提议网络(RPN)和感兴趣区域(ROI)-智能分类器。

4.基于权利要求书3所述的语义选择，其特征在于，语义选择发生在视频第一帧中，根据标定的真实数据掩码选择匹配对象的掩码(处于半监督框架中，其中第一帧的真实掩码为输入)；选择感兴趣区域，进行分类，将标定的真实数据与实例分段提议重叠。

5.基于权利要求书3所述的语义传播，其特征在于，语义传播阶段发生在第一帧以后，将第一帧中估计的语义传播到之后的帧；使用第一轮前景估计对实例分割掩码进行过滤，并且选择池顶部匹配对象。

6.基于权利要求书1所述的通过条件分类器将外观模型与语义先验相结合(三)，其特征在于，使用完全卷积网络的密集标签，通常表达为每个像素的分类问题；因此，可以理解为在整个图像上滑动的全局分类器，并且根据外观模型将前景或背景标签分配给每个像素；如果将最终分类之前的语义合并，可以作为当前框架中最有可能的实例(或一组实例)的掩码。

7.基于权利要求书6所述的像素，其特征在于，对于每个像素i，估计给定图像的前景像素的概率：p(i|I)；概率可以分解为由先前加权的k个条件概率的和：

p(i|I)=Σk=1Kp(i|I,k)p(k|I)---(1)]]>

其中，K＝2。

8.基于权利要求书6所述的条件分类器，其特征在于，构建两个条件分类器，一个注重前景像素，另一个侧重于背景像素；基于实例分割输出估计先验项p(k|I)；具体来说，如果像素位于实例分割掩码内，则像素依赖于前景分类器；并且如果背景分类掩码脱离实例分割掩码，则背景分类器更重要；在实验中，应用高斯滤波器将所选掩模的空间平滑作为语义先验。