[发明专利]一种基于多模态融合的目标检索跟踪方法及系统

说明书

本发明提供一种基于多模态融合的目标检索跟踪方法，包括：对文本数据和图像数据进行特征提取，获得文本特征和图像特征；根据文本特征和图像特征进行回归运算，获得目标预测坐标；当出现跟踪漂移后重新感知目标位置，具体是：先划定一个搜索区域，并以目标图像作为模板区域，获得模板特征和搜索特征；以模板特征作为卷积核对搜索特征进行相关性滤波运算得到相关性特征，将相关性特征输入卷积神经网络得到相关性特征图；将文本特征和相关性特征图进行乘积运算获得重新感知的目标预测坐标。本发明还提供了使用该方法的目标检索跟踪系统。相较于传统跟踪算法大大提高了面对复杂跟踪环境的跟踪鲁棒性，提高了模型目标回归的精度。

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于多模态融合的目标检索跟踪方法及系统。

背景技术

目标跟踪是计算机视觉中的一项重要任务。综合性工业和国防设备需无人系统在复杂境况下能实现全天候高精确度应用。近年来，视觉目标跟踪技术在机器人研发、自主汽车行业、人机界面设备和视频监控设备等方面获得了广泛的运用。

通常，现有的方法大多使用边界框（BBox）初始化第一帧中的目标对象，并随着目标对象的移动调整BBox。虽然这些方法在实际应用展现了不错的跟踪精度，但是在应对一系列跟踪挑战时，会出现跟踪失败，算法鲁棒性不强的问题。

究其原因，主要是因为现有算法是仅利用前一帧图像的预测中心进行高斯采样，基于第一帧图像进行目标回归训练的算法，会因为跟踪过程中目标外观特征发生的较大形变出现跟踪漂移，极大的影响跟踪精度。同时，大部分方法都没有将目标文本信息给利用起来，仅仅比较候选区域图像特征与目标特制的相似度。

综上所述，急需一种基于多模态融合的目标检索跟踪方法及系统以解决现有技术中存在的问题。

发明内容

本发明目的在于提供一种基于多模态融合的目标检索跟踪方法，旨在解决现有跟踪算法由于跟踪漂移出现跟踪失败、算法鲁棒性不强的问题，具体技术方案如下：

一种基于多模态融合的目标检索跟踪方法，包括：

对文本数据和图像数据进行特征提取，获得文本特征和图像特征；

根据文本特征和图像特征进行回归运算，获得目标预测坐标；

当出现跟踪漂移后重新感知目标位置，具体是：先划定一个搜索区域，并以目标图像作为模板区域，获得模板特征和搜索特征；以模板特征作为卷积核对搜索特征进行相关性滤波运算得到相关性特征，将相关性特征输入卷积神经网络得到相关性特征图；将文本特征和相关性特征图进行乘积运算获得重新感知的目标预测坐标。

以上技术方案中优选的，使用预训练语言文本编码网络对文本数据进行特征提取，获得文本特征；使用预训练图像提取骨干网络对图像数据进行特征提取，获得图像特征。

以上技术方案中优选的，使用预训练图像提取骨干网络对图像数据进行特征提取，具体是：

以视频帧的目标预测坐标为中心，进行高斯分布采样个候选框，对候选区域图像进行特征提取，得到视频第帧的图像特征。

以上技术方案中优选的，根据文本特征和图像特征进行回归运算获得目标预测坐标，具体是：

对图像特征进行评分，获得每个候选区域的目标置信值；

将图像特征与文本特征进行内积运算得到相似度量，相似度量依次与每个候选区域的目标置信值进行乘积运算，得到最终目标置信值；

选取最终正置信值最高的个候选区域，进行平均值运算作为目标预测坐标；其中为大于等于2的自然数。

以上技术方案中优选的，将图像特征输入卷积神经网络或全连接神经层，获得每个候选区域的目标置信值。