[发明专利]一种视觉锁定方法和装置

说明书

本发明公开了一种视觉锁定方法和装置，涉及水下机器人技术领域，解决了现有技术中的跟踪方法只停留在二维图像上，跟踪效果差的技术问题。本发明的视觉锁定方法通过获取跟踪目标的三维位置数据并基于获取的三维位置数据实时控制无人潜水器的运行方式，使无人潜水器与跟踪目标保持六轴同步。本发明的视觉锁定方法，在水流干扰波动等情况下，可实时自动反馈调整无人潜水器的位置，使之与跟踪目标保持同步，便于无人潜水器对跟踪目标进行拍摄或抓取等作业。即本发明的视觉锁定方法，可提高无人潜水器的跟踪效果。

技术领域

本发明涉及水下机器人技术领域，尤其涉及一种视觉锁定方法和装置。

背景技术

海洋占地球表面积的71％，拥有14亿立方公里的体积，在海底及海洋中，蕴藏着极其丰富的生物资源及矿产资源，洋底的探测和太空探测类似，同样具有极强的吸引力、挑战性。无人潜水器以及无人潜水器配套设施是多种现代高技术及其系统集成的产物，对于我国海洋经济、海洋产业、海洋开发和海洋高科技具有特殊的重要意义。

目前的无人潜水器一般使用相干滤波(KCF之列)，或者特征匹配光流法对运动目标进行位置估计，该种方法只停留在二维图像上，并且只有两个自由度，对某些遮挡、运动模糊、水下光吸收散射形成的“雾”，跟踪效果极差。因此，为了保持和目标物同步，提供一种多维度的、精确的视觉锁定方法和装置成为本领域技术人员亟待解决的技术问题。

发明内容

本发明的其中一个目的是提出一种视觉锁定方法和装置，解决了现有技术中的跟踪方法只停留在二维图像上，跟踪效果差的技术问题。本发明优选技术方案所能产生的诸多技术效果详见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明的视觉锁定方法，通过获取跟踪目标的三维位置数据并基于获取的三维位置数据实时控制无人潜水器的运行方式，使所述无人潜水器与跟踪目标保持六轴同步。

根据一个优选实施方式，所述的视觉锁定方法包括如下步骤：

S1：初始化设备，完成双目相机的矫正；

S2：获取双目摄像头的视频流，并将获取的视频流推送给上位机和深度学习模块；

S3：选择跟踪目标，并将跟踪目标图推送给深度学习模块；

S4：所述深度学习模块基于获取的双目视频流和跟踪目标图获取跟踪目标在左摄像头和/或右摄像头中的三维位置数据；

S5：将所述深度学习模块获取的跟踪目标在左摄像头和/或右摄像头中的三维位置数据实时传送给控制模块，所述控制模块基于接收到的三维位置数据判定跟踪目标是否处于左摄像头和/或右摄像头中，并基于判定结果控制无人潜水器的运动方式，使所述无人潜水器与跟踪目标保持六轴同步。

根据一个优选实施方式，步骤S1中，通过如下方式完成双目相机的矫正：初始化设备后，获得双目相机的内外参数和畸变参数，并且基于获取的内参数和畸变参数完成双目相机的畸变矫正；基于获取的外参数确定双目摄像头之间的位置关系。

根据一个优选实施方式，步骤S3中，通过如下方式选择跟踪目标：通过上位机手动选择跟踪目标，和/或通过目标检测系统自动检测跟踪目标。

根据一个优选实施方式，步骤S4中，所述三维位置数据包括跟踪目标的X值、Y值和深度值。

根据一个优选实施方式，所述深度值为跟踪目标相对于左摄像头和/或右摄像头的深度信息。

根据一个优选实施方式，步骤S4中，所述深度学习模块通过如下步骤获取跟踪目标相对于左摄像头和/或右摄像头的三维位置数据：

S41：使用残差网络提取跟踪目标图和左右相机视图的骨干特征；