[发明专利]单目标追踪方法、装置及系统

说明书

本发明提供了一种单目标追踪方法、装置及系统，涉及计算机视觉技术领域，该方法应用于配置有追踪网络的设备；追踪网络包括主干网络、STN和相似性度量层；该方法包括：获取待追踪的帧图像和包含有目标对象的模板图像；通过主干网络提取模板图像的模板特征图和帧图像的第一特征图；通过STN对第一特征图进行特征偏移，得到第二特征图；通过相似性度量层计算模板特征图和第二特征图之间的第一相似性得分图，并基于第一相似性得分图在帧图像中确定目标对象的回归框。本发明能够有效提升目标对象的回归框的准确性和目标追踪的准确性。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种单目标追踪方法、装置及系统。

背景技术

单目标跟踪任务为根据给定视频序列的第一帧中目标对象的回归框，预测视频序列后续帧中该目标对象的回归框。目前主要是通过Siamese网络评估后续帧中特征与第一帧中特征的相似度，预测后续帧中该目标对象的回归框以实现单目标跟踪。然而，相比于第一帧中的目标对象，后续帧中的目标对象往往存在较大的形变，致使基于Siamese网络预测的回归框准确性较差，直接影响了单目标跟踪的准确性。

发明内容

有鉴于此，本发明的目的在于提供一种单目标追踪方法、装置及系统，能够有效提升目标对象的回归框的准确性和目标追踪的准确性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种单目标追踪方法，所述方法应用于配置有追踪网络的设备；其中，所述追踪网络包括主干网络、空间变换网络STN和相似性度量层；所述方法包括：获取待追踪的帧图像和包含有目标对象的模板图像；其中，所述模板图像和所述帧图像属于同一视频流；将所述模板图像、所述帧图像输入所述主干网络，通过所述主干网络提取所述模板图像的模板特征图和所述帧图像的第一特征图；通过所述STN对所述第一特征图进行特征偏移，得到第二特征图；通过所述相似性度量层计算所述模板特征图和所述第二特征图之间的第一相似性得分图，并基于所述第一相似性得分图在所述帧图像中确定所述目标对象的回归框。

进一步，所述追踪网络的训练过程包括：向当前训练的追踪网络输入具有目标对象标注信息的训练样本对；其中，所述训练样本对包括模板训练图像和待追踪训练图像；通过当前训练的追踪网络提取所述模板训练图像的特征图和所述待追踪训练图像的初始特征图；对所述初始特征图进行特征偏移，得到所述待追踪训练图像的目标特征图；计算所述模板训练图像的特征图和所述待追踪训练图像的目标特征图之间的第二相似性得分图；基于交叉二进制损失函数计算所述第二相似性得分图的损失函数值；根据所述损失函数值，通过反向传播算法对所述当前训练的追踪网络的参数进行调整，直至所述损失函数值收敛至预设值时结束训练。

进一步，所述基于交叉二进制损失函数计算所述第二相似性得分图的损失函数值的步骤，包括：

其中，S1表示所述第二相似性得分图，S1[u]表示所述第二相似性得分图中位置u的响应值，Y[u]表示预设的标签，当所述待追踪训练图像中目标对象的回归框与所述模板训练图像中目标对象的回归框相距在预设距离值之内时，Y[u]＝1，当所述待追踪训练图像中目标对象的回归框与所述模板训练图像中目标对象的回归框相距在预设距离值之外时，Y[u]＝-1。

进一步，所述方法还包括：从具有所述目标对象标注信息的视频数据集中获取初始模板训练图像和初始待追踪训练图像；其中，所述初始模板训练图像和初始待追踪训练图像在所述视频数据集中的相隔帧数小于预设帧数值；采用背景填充的方式对所述初始模板训练图像和所述初始待追踪训练图像进行归一化；将归一化后的模板训练图像和待追踪训练图像确定为所述训练样本对。