[发明专利]基于多任务的智能自主视觉导航与目标检测方法

说明书

本发明涉及计算机视觉、深度学习、图像处理、机器人自主导航、目标检测等领域，为提出性能更强的基于卷积神经网络的视觉导航与目标检测融合的方法，用于机器人智能自主导航与目标检测多任务的同时实现。本发明，基于多任务的智能自主视觉导航与目标检测方法，以相机作为感知设备，摄取输入图像；利用共享的主干神经网络，对输入图像进行特征提取；利用视觉导航任务分支网络得到导航方向和碰撞概率；利用目标检测分支网络进行大小物体检测。本发明主要应用于机器人自动控制场合。

技术领域

本发明涉及计算机视觉、深度学习、图像处理、机器人自主导航、目标检测等领域，具体涉及基于多任务的智能自主视觉导航与目标检测方法。

背景技术

随着深度学习技术的不断发展，基于卷积神经网络的计算机视觉技术对各行各业都产生重大影响。而安全可靠的室内外无人系统的自主导航与目标检测技术，作为机器人界的一个颇具挑战性的开放性问题，仍亟待技术的进一步革新和进步。能在复杂的环境中进行自主导航，对机器人至关重要。尤其在楼道或者城市环境中，该问题更复杂，机器人除了需要对环境中的静态障碍物进行避让，还需要对周围其它动态物体进行交互，如对行人和车辆的避让，同时可能需要进行其他任务，如对特定物体的检测或者跟踪等等。

视觉导航技术指的是，设计模型结构与目标函数，如卷积神经网络与损失函数等，利用大量有标注数据(原始感知数据-控制策略)对模型进行训练，使训练后的模型可以根据原始感知数据直接得到合理的控制策略，不需要建图和定位等步骤。

而目标检测是指从一幅场景或者图片中找出一类或者多类感兴趣目标并对各个目标进行定位，包括定位和识别两个过程。目标检测问题是计算机视觉领域的一个基本问题，是广泛的下游视觉应用的先决条件，例如实例分割[1][2]，人体关键点检测[3]，人脸识别[4]等。

在传统自主导航问题中，GPS(全球定位系统)存在定位误差过大，室内无法定位等问题，SLAM(同步定位与地图构建)也具有误差累积、难以应对变化过快的场景、计算资源占用较大等问题。如果再引入目标检测任务，无疑增大了移动机器人的计算负担。除此之外，将感知任务与决策任务分离处理，还引入了由环境地图得到控制决策的逻辑设计问题。所以，基于多任务的机器人智能自主导航与目标检测技术是一个相当困难的课题。

视觉导航技术是实现机器人自主导航的一种方法，作为一种基于卷积神经网络的新兴技术，准确度还有待提高，偶尔会有错误的决策输出。而在机器人的实际运行中，输出任何错误的控制决策都可能导致严重的后果，对生产和人员安全产生影响。但只实现视觉导航功能不满足实际需要，很多场景下需要同时实现目标检测，而分别使用两个神经网络实现不同功能会占用大量系统资源，不满足嵌入式系统上低功耗的要求。所以如何在低功耗下同时实现自主导航和目标检测是一个亟待解决的问题。

视觉导航算法和目标检测算法作为两个计算机视觉的子任务，对于实现机器人智能化自主导航和目标检测有重要意义。而两个任务如果由两个卷积神经网络分别实现，会耗费大量计算资源，极大降低系统的实时性。利用多任务神经网络的思想，共享主干网络提取的特征，之后利用两个分支网络分别实现视觉导航和目标检测的功能。从而以较少的网络参数，较快的网络推理速度，实现自主导航和目标检测。

发明内容

为克服现有技术的不足，本发明旨在提出一种针对地面机器人的基于多任务的智能视觉导航与目标检测方法。对当前现有的视觉导航算法和目标检测算法进行研究与融合，提出性能更强的基于卷积神经网络的视觉导航与目标检测融合的方法，用于机器人智能自主导航与目标检测多任务的同时实现。使用公开数据集对提出的算法进行训练，得到性能良好的算法。地面机器人搭载kinect相机作为感知设备，搭载Jetson TX2作为处理器，使用本发明提出的视觉导航与目标检测多任务算法实现机器人智能自主导航以及对特定目标的检测与跟踪。为此，本发明采取的技术方案是，基于多任务的智能自主视觉导航与目标检测方法，步骤如下：

以相机作为感知设备，摄取输入图像；