[发明专利]应用于半监督环境中以在图像帧序列中执行实例跟踪的机器学习框架

权利要求书

1.一种用于在视频帧序列内跟踪实例的方法，所述方法包括：

由骨干网络处理图像帧以生成一组特征图；

由一个或更多个预测头处理该组特征图，其中所述一个或更多个预测头包括嵌入头，所述嵌入头被配置为生成与在所述图像帧中识别出的对象的一个或更多个实例相对应的一组嵌入特征；以及

分析与所述视频帧序列的两个或更多个图像帧中的一组实例相对应的所述嵌入特征，以在不同的图像帧中的实例之间建立一对一的相关性。

2.如权利要求1所述的方法，其中所述一个或更多个预测头还包括：

分类头，其被配置为预测所述图像中多个对象类中的每个对象类的零个或更多个实例的位置；以及

掩模头，其被配置为预测所述图像中每个实例的像素级分割掩模。

3.如权利要求1所述的方法，其中所述嵌入头包括关键点嵌入头，所述关键点嵌入头包括编码器-解码器结构，其中所述编码器-解码器结构包括编码器和解码器，所述编码器包括卷积层，所述解码器包括解卷积层。

4.如权利要求3所述的方法，其中所述一个或更多个预测头包括分类头和形状回归头，所述形状回归头被配置为基于多个关键点估计每个实例的姿态估计。

5.如权利要求1所述的方法，其中所述骨干网络包括特征金字塔网络，并且其中该组特征图包括不同空间分辨率的多个特征图。

6.如权利要求1所述的方法，还包括：使用一组带注释的图像帧和/或多个未标记的视频帧序列来训练所述一个或更多个预测头。

7.如权利要求6所述的方法，其中训练所述嵌入头包括：最小化实例对比损失项。

8.如权利要求7所述的方法，其中训练所述嵌入头还包括：对相似性矩阵强制执行最大熵正则化。

9.如权利要求6所述的方法，其中训练所述嵌入头包括：最小化基于对应于视频帧序列的前向亲和矩阵和反向亲和矩阵计算的循环损失项。

10.一种用于在视频帧序列内跟踪实例的系统，包括：

非暂时性计算机可读存储器；和

至少一个处理器，其被配置为实现多个神经网络，所述多个神经网络包括：

骨干网络，其被配置为处理图像帧并生成一组特征图；以及

一个或更多个预测头，其被配置为处理由所述骨干网络生成的该组特征图，其中所述一个或更多个预测头包括嵌入头，所述嵌入头被配置为生成与在所述图像帧中识别出的对象的一个或更多个实例相对应的一组嵌入特征。

11.如权利要求10所述的系统，其中所述一个或更多个预测头还包括：

分类头，其被配置为预测所述图像中多个对象类中的每个对象类的零个或更多个实例的位置；以及

掩模头，其被配置为预测所述图像中每个实例的像素级分割掩模。

12.如权利要求10所述的系统，其中所述嵌入头包括关键点嵌入头，所述关键点嵌入头包括编码器-解码器结构，其中所述编码器-解码器结构包括编码器和解码器，所述编码器包括卷积层，所述解码器包括解卷积层。

13.如权利要求12所述的系统，其中所述一个或更多个预测头包括分类头和形状回归头，所述形状回归头被配置为基于多个关键点估计每个实例的姿态估计。

14.如权利要求10所述的系统，其中所述骨干网络包括特征金字塔网络，并且其中该组特征图包括不同空间分辨率的多个特征图。

15.如权利要求10所述的系统，其中所述一个或更多个预测头使用一组带注释的图像和多个未标记的视频帧序列进行训练。