[发明专利]一种基于多模态融合的目标检索跟踪方法及系统

权利要求书

1.一种基于多模态融合的目标检索跟踪方法，其特征在于，包括：

对文本数据和图像数据进行特征提取，获得文本特征和图像特征；

根据文本特征和图像特征进行回归运算，获得目标预测坐标；

当出现跟踪漂移后重新感知目标位置，具体是：先划定一个搜索区域，并以目标图像作为模板区域，获得模板特征和搜索特征；以模板特征作为卷积核对搜索特征进行相关性滤波运算得到相关性特征，将相关性特征输入卷积神经网络得到相关性特征图；将文本特征和相关性特征图进行乘积运算获得重新感知的目标预测坐标；

其中，使用预训练图像提取骨干网络对图像数据进行特征提取，具体是：

以视频t-1帧的目标预测坐标为中心，进行高斯分布采样j个候选框，对候选区域图像进行特征提取，得到视频第t帧的图像特征；

其中，根据文本特征和图像特征进行回归运算获得目标预测坐标，具体是：

对图像特征进行评分，获得每个候选区域的目标置信值；

将图像特征与文本特征进行内积运算得到相似度量，相似度量依次与每个候选区域的目标置信值进行乘积运算，得到最终目标置信值；

选取最终正置信值最高的N个候选区域，进行平均值运算作为目标预测坐标；其中N为大于等于2的自然数；

其中，将搜索区域和模板区域分别输入预训练图像提取骨干网络进行特征提取，得到模板特征和搜索特征。

2.根据权利要求1所述的基于多模态融合的目标检索跟踪方法，其特征在于，使用预训练语言文本编码网络对文本数据进行特征提取，获得文本特征。

3.根据权利要求1所述的基于多模态融合的目标检索跟踪方法，其特征在于，将图像特征输入卷积神经网络或全连接神经层，获得每个候选区域的目标置信值。

4.根据权利要求1所述的基于多模态融合的目标检索跟踪方法，其特征在于，构建回归损失函数，利用回归损失函数训练对目标置信值的评估能力；

回归损失函数为：

其中，d是回归任务的标签，为预测分类值。

5.根据权利要求4所述的基于多模态融合的目标检索跟踪方法，其特征在于，构建对象感知任务损失函数，通过对象感知任务损失函数训练对目标位置的感知能力；

对象感知任务损失函数为：

其中，w和h分别表示搜索区域的宽和高，Y^box是对象感知任务的标签，为目标中心预测图，x、y为重新感知的目标预测坐标。

6.根据权利要求5所述的基于多模态融合的目标检索跟踪方法，其特征在于，根据对象感知任务损失函数和回归损失函数计算跟踪方法的整体损失：

Loss＝λ×Loss_cls+(1-λ)×Loss_cen

其中，λ为回归损失在整体损失的权重。

7.一种基于多模态融合的目标检索跟踪系统，其特征在于，该系统采用如权利要求1-6任意一项所述的基于多模态融合的目标检索跟踪方法，该系统包括多模态特征提取模块、目标回归模块和对象感知模块，所述多模态特征提取模块用于特征提取，目标回归模块用于回归运算，所述对象感知模块用于跟踪漂移后重新感知目标位置。