[发明专利]一种半监督的单目标视频分割方法

权利要求书

1.一种半监督的单目标视频分割方法，其特征在于，包括下列步骤：

设置网络模型，所述网络模型包括搜索分支、模板分支和掩膜分支；

其中，其中搜索分支的输入图片尺寸大于模板分支的输入图片尺寸，搜索分支和模板分支的输入图片的通道数相同；所述搜索分支包括依次连接的主干网络和调整层；所述模板分支包括依次连接的主干网络和调整层；搜索分支和模板分支的主干网络为Siamese网络，且主干网络包括M个主干网络块，其中M为大于1的正整数；

所述掩膜分支包括依次连接反卷积层、M-1个融合层、卷积层和输出层；

其中，反卷积层的输入为搜索分支和模板分支经深度互相关层的输出特征图，所述反卷积层和M-1个融合层与模板分支的前M-1个主干网络块构成类U-net网络结构，所述融合层用于在每一层的上采样中加入模板分支的下采样的特征融合，所述输出层用于输出目标识别预测概率；

对数据集图像进行裁剪和调整大小处理，获取网络模型的训练样本：

从数据集中的同一个视频中的跟踪目标相同的视频帧中，选择两张图像作为一组输入，从该组输入图像中的一幅进行预处理获取模板图像样本，以使得目标对象位于模板图像样本的中心，且模板图像样本的图像尺寸大小与模板分支的输入相匹配；并基于该组输入图像中的另一幅图像生成搜索图像样本，从该图像中裁剪出搜索图像，以及该图像对应的mask图中裁剪出初始mask标签，对搜索图像和初始mask标签同步进行随机翻转，以及对搜索图像进行随机模糊处理，得到搜索图像样本及其mask标签；

基于预设的损失函数，采用随机梯度下降法作为优化器对设置的网络模型进行端到端训练，并在训练回归分支时进行坐标映射；

基于训练好的网络模型进行单目标视频分割处理：将待分割视频图像进行裁剪和调整大小处理以获取对应的模板图像和搜索图像，再分别输入训练好的网络模型的模板分支和搜索分支中，通过将模板分支在搜索分支上对应的每一个响应窗口生成一个mask，并选择其中响应窗口最大得分的位置作为mask所在原图的相对位置，实现对单目标视频帧的分割，其中，响应窗口得分为两个分支经深度互相关层的互相关运算结果。

2.如权利要求1所述的方法，其特征在，对设置的网络模型进行端到端训练时，采用二进制逻辑回归损失函数。

3.如权利要求1所述的方法，其特征在，基于训练好的网络模型进行单目标视频分割处理还包括通过CRF(Conditional Random Fields)对分割结果进行优化处理。

4.如权利要求1所述的方法，其特征在，所述主干网络块为ResNet50的前四个卷积块，第四个卷积块去掉下采样。