[发明专利]一种旋翼作业飞行机器人目标跟踪方法及系统

说明书

本发明属于视觉目标跟踪技术领域，公开了一种旋翼作业飞行机器人目标跟踪方法及系统，以Siamfc框架为基础，通过偏移量学习，引入Resnet50作为特征提取网络，使网络学习到更多语义信息，应对目标外观变化；跟踪网络在分类判别器的基础上新增一个目标尺度估计模块，可预测目标边界框与目标真实框的IOU，准确的对目标边界框进行预测，并通过反向梯度对边界框进行迭代修正，使网络能准确的对目标的尺度变化进行预测；利用Resnet50多层特征输出，采用残差融合的策略，对网络不同层的输出进行融合，进一步提升算法的鲁棒性，提高网络性能，并保障了网络对小目标的判别能力，最终实现对目标的准确跟踪。

技术领域

本发明属于视觉目标跟踪技术领域，尤其涉及一种旋翼作业飞行机器人目标跟踪方法及系统。

背景技术

目前，视觉目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，例如：视频监控，人机交互，无人驾驶等。过去二三十年视觉目标跟踪技术取得了长足的进步，特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果，使目标跟踪技术获得了突破性的进展。

目标跟踪技术在无人机领域有非常丰富的应用，战场目标自动检测与跟踪技术系统已成为无人机对战战场实现态势感知与精准打击的基段。机载计算机通过对图像进行一定的预处理、感兴趣区域分析和目标特征提取，进一步实现对敌方目标的自动检测和跟踪。在民用方面，飞行器通过目标跟踪可实现对特定目标的实时跟拍，在体育赛事和航拍等任务中都有非常多的应用。一个对光照变化、目标遮挡、快速运动、物体模糊等具有较强鲁棒性的实时跟踪算法是当前研究的重点。

但是，跟踪过程中，由于目标遮挡、形变、光照变化等问题极易造成跟踪目标的丢失，旋翼作业飞行机器人的控制算法有待完善，因此旋翼作业飞行机器人的目标跟踪技术还存在诸多技术挑战。采用传统的基于Siamese网络的目标跟踪算法，由于其特征提取层太浅，对目标的特征表达能力不足，直接引入深度网络反而会使算法的性能下降，不能充分应对实际跟踪时的复杂变化。因此，亟需一种新的旋翼作业飞行机器人目标跟踪方法，以解决现有技术中存在的问题。

通过上述分析，现有技术存在的问题及缺陷为：采用传统的基于Siamese 网络的目标跟踪算法，由于其特征提取层太浅，对目标的特征表达能力不足。跟踪算法需要在第一帧中就充分学习到目标的特征，以对目标进行跟踪。而第一帧中只包含了少量的目标信息，旋翼飞行作业机器人在后续跟踪过程中，可能会遇到目标形变、目标遮挡、光照变化、相机抖动等各种情况，这使得跟踪器难以完成复杂情况下的跟踪任务。并且当前的目标跟踪算法大多缺少对目标的尺度估计模块，很多采用多尺度搜索的方法确定目标的尺度变化，这导致算法的精度降低，多次搜索还降低了算法的实时性能。采用本发明的技术方案可以使跟踪网络更多的学习到目标的语义信息，解决在目标外观发生形变、模糊、光照变化等情况下对目标的识别能力，通过引入一个尺度估计模块，使网络能准确的对目标的尺度进行预测，保证了跟踪算法的高精度，并且满足实时性能的需求。

解决以上问题及缺陷的难度为：通过引入深度网络如ResNet50，在理论上可以使特征提取网络学习到更丰富的目标信息，然而受到Siamese网络平移不变性的限制，直接引入深度网络后破坏了这种性能，反而会使跟踪算法的性能下降。另外目标尺度模块的预测是一个复杂的任务，需要网络学习到更多的语义信息，而不是一些浅层的特征信息，因此同样需要一个更深的特征提取网络，设计一个有效的目标尺度估计模块还需考虑诸多因素，如以何种方式嵌入到跟踪网络、网络的感受野设计、通过何种方式对特征进行融合，一个与目标判别分类模块不匹配的尺度估计模块反而导致性能的下降。