[发明专利]基于距离估计的单目视觉水下目标自动抓取方法

说明书

本发明涉及计算机视觉技术领域，具体公开了一种基于距离估计的单目视觉水下目标自动抓取方法，包括步骤：采集水下动态场景中机械臂抓取目标时的传感器数据，包括单目图像信号与触觉感知信号；对单目图像信号进行深度估计得到深度估计图像；通过强化学习网络融合传感器数据以及深度估计图像，得到动作指令；收集对应的训练数据对强化学习网络进行优化，直至完成设定的训练次数。本发明直接采用单目图像进行强化学习训练，引入基于距离估计的测距步骤，用于进一步抽取单目图像中的深度信息，并通过强化学习网络产生对应的动作指令，再不断收集训练数据对强化学习网络进行训练和优化，从而能够明显提升机械臂水下抓取目标的效率。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于距离估计的单目视觉水下目标自动抓取方法。

背景技术

随着人类对海洋探索的不断深入，水下作业、海洋科学考察等活动也日益增多，人类对支撑起这些海洋探索活动的作业设备以及作业方法也提出了越来越高的要求。机械臂通常会搭载在水下机器人上完成水下作业，目前水下机械臂的控制方式，主要是通过主从伺服控制，虽然该方法已经较为成熟且已广泛应用，但是在很大程度上倚赖人类对水下场景的感知以及临场遥操作，越来越不能满足复杂高效的任务需求，如何实现水下机械臂的自主作业成为亟待解决的关键问题。

视觉是水下机器人技术中非常重要的部分，是最直观的观测技术，基于视觉引导的水下机械臂抓取控制技术的研究得到广泛关注。通常基于视觉的机械臂抓取控制技术采用的是双目视觉，通过相机标定、双目图像矫正以及立体匹配等一系列步骤得到目标物体在机械臂坐标系的位置，根据目标物体相对机械臂根坐标系的方位角、极角、末端旋转角得到机械手末端的位姿，通过逆运动学求解得出机械臂各个关节的角度信息然后驱动机械臂的抓取，但是水下环境的特殊性会影响双目的立体匹配的准确性，影响抓取效率。

发明内容

本发明提供一种基于距离估计的单目视觉水下目标自动抓取方法，解决的技术问题在于：目前基于双目视觉的水下机械臂抓取控制技术，在水下环境的影响下，其双目的立体匹配的准确性不够高，导致其抓取水下目标的效率不够高。

为解决以上技术问题，本发明提供一种基于距离估计的单目视觉水下目标自动抓取方法，包括步骤：

S1：采集水下动态场景中机械臂抓取目标时的传感器数据，所述传感器数据包括单目图像信号与触觉感知信号；

S2：对所述单目图像信号进行深度估计得到深度估计图像；

S3：通过强化学习网络融合所述传感器数据以及所述深度估计图像，得到对应的动作指令，引导机械臂进行自主抓取；

S4：重复所述步骤S1～S3，收集对应的训练数据并存储到记忆库，同时对所述强化学习网络进行优化，直至完成设定的训练次数。

在进一步的实施方式中，所述单目图像信号为通过单目相机采集的包含机械臂状态和外界环境的视觉图像数据；所述触觉感知信号为布尔类型数据，即机械臂夹爪末端执行器与外界环境发生接触即返回1的信号，否则返回0的信号。

在进一步的实施方式中，所述步骤S2具体包括步骤：

S21：对所述单目图像信号对应的水下源图像I采用最大衰减识别算法进行复原处理，获得复原图像J；

S22：分别提取出所述复原图像J与所述水下源图像I的R通道J^R(x)和I^R(x)，求取J^R(x)和I^R(x)的比值作为距离系数x为水下源图像I及复原图像J中像素的位置；

S23：对距离系数d归一化得到深度估计图像。

在进一步的实施方式中，在所述步骤S21中，所述最大衰减识别算法具体包括步骤：