[发明专利]一种基于孪生网络的船舶跟踪方法及系统

说明书

本发明公开了一种基孪生网络的船舶跟踪方法及系统，通过本发明所提供的方法，通过对陆地上表现较好的Siamese RPN跟踪模型进行改进，以适应其在海上跟踪场景的应用。我们的模型通过大量的数据训练可以挖掘到目标不同深度的特征，可在不同天气环境下对各种类型的船舶实现准确高效的跟踪。本模型在我们采集的海上跟踪数据中，跟踪平均准确率为58％，平均帧率达到了124.21 FPS。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于孪生网络的船舶跟踪方法及系统。

背景技术

近年来，越来越多的海事平台被用于海上运输，生态监测，海洋安全等场景，海洋的探索受到广泛关注。为了平台的安全，视觉目标跟踪技术被广泛用于跟踪潜在的感兴趣目标，例如船舶，浮标等。但是，它在复杂的码头环境中，特别是船舶跟踪任务，并不容易实现准确稳定的跟踪任务。因此，用于跟踪船舶的开发的视觉跟踪算法必须具有足够的智能和足够的能力以适应海洋时间应用。

开发船舶视觉跟踪算法存在一些挑战。与地面车辆不同，船舶在浮动表面上移动，其运动很复杂，无法准确预测。此外，海洋环境对天气和光照敏感。大海经常有雾或多雨，海风会加剧船的摇晃。因此，由于船舶的不稳定运动，相邻的框架可能彼此非常不同。此外，图像的质量可能受到从浮动水面反射的太阳光的影响。

阶段生成类跟踪算法的缺点有计算复杂度比较高，实时性能较差，而且跟踪准确率比较低。主要原因是生成类算法一般通过遍历待检测图像以获得与目标相似度最高的区域作为目标，为提高准确率，还需要引入较复杂的特征，如纹理、梯度等，这些操作都会造成较大的计算成本。对于背景减法，该方法在船舶跟背景的对比度较小时，难以实现目标的检测和跟踪，跟踪准确率会大大下降。基于水平集分割的跟踪方法虽然可实现目标的动态跟踪，但该方法需要提供先验的目标轮廓，而在实际场景中难以实现。以上的跟踪方法还有一个共同的缺点：检测过程只关注目标的特征信息，忽略了背景信息。因此，此类跟踪器在一些较为复杂的场景下难以甄别目标和干扰物，导致误检。

发明内容

本发明提供了一种基于孪生网络的船舶跟踪方法及系统，用以解决现有技术中目前的目标跟踪器在一些较为复杂的场景下难以甄别目标和干扰物，导致误检的问题。

其具体的技术方案如下：

一种基于孪生网络的船舶跟踪方法，所述训练方法包括：

在第一帧图像中获取跟踪目标的目标位置，并将所述目标位置作为参考框；

对输入图像进行预处理，生成锚点框，并计算锚点框与模板帧参考框之间的第一相对偏移，所述第一相对偏移作为跟踪网络的输入；

确定所述锚点框与检测帧预测框之间的第二相对偏移，所述第二相对偏移作为跟踪网络的输出，计算每个预测框对应的置信度值，其中，所述置信度为预测框作为目标框的可靠性；

根据历史轨迹影响和大小形状变化对预测框进行惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；

采用非极大值抑制算法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。

可选的，将所述目标位置作为参考框之前，所述方法包括：

在模板帧中提取出模板帧特征；

在检测帧中提取出检测帧特征；

根据所述模板帧特征以及所述检测帧特征，得到推荐网络对应的分类值以及回归值；

根据所述分类值以及所述回归值获得回归框。

可选的，对所有置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框，包括：

选择历史轨迹中的前M帧图像并采用最小二乘法预测目标在检测帧中的位置；