[发明专利]一种基于3D视觉和模仿学习的自由漂浮目标抓捕方法

说明书

本发明公开一种基于3D视觉和模仿学习的自由漂浮目标抓捕方法。主要包含三个部分：首先，使用深度相机实时获取目标抓捕点的位置和姿态；其次，根据历史数据，使用卡尔曼滤波估计运动状态，根据运动信息预测自由漂浮未来一段时间内的轨迹；最后：确定抓捕时机及抓捕点在这一时刻的位姿，采集人的抓捕数据，建立技能模型，将其迁移到机器人上进行抓捕。本发明基于视觉、模仿学习完成了过程中的位姿估计，轨迹预测及机械臂轨迹规划技术，实现自由漂浮目标的自主抓捕，可以很好的满足抓捕需求。

技术领域

本发明涉及空间机器人领域，具体涉及一种基于3D视觉和模仿学习的自由漂浮目标抓捕方法。

背景技术

人类开发和利用外太空的步伐不断加快。全球每年发射卫星80～130颗，其中10％左右的卫星因故障宣告失败，这些碎片占用了宝贵的轨道资源；部分航天器发射入轨后可能出现零部件失效、轨道偏离等问题，或者在完成预定任务、燃料耗尽时其主要零部件仍能正常工作，对其他在轨航天器构成了严重的安全；利用空间机器人完成轨道碎片清理、在轨维修、维护升级、空间站的组装等任务对提高太空轨道利用率，降低成本、挽回经济损失，延长航天器的寿命，提升航天器的在轨性能，提高经济效益有重要的作用，而对漂浮目标进行抓捕是其中一项关键技术。

目前在轨机器人抓捕大多为遥操作或航天员在轨辅助机器人，自主性不高，并且控制信号的时延也会带来不稳定性，导致精度差，成本高。

自主太空机器人集成视觉、力等多种传感器，可以代替航天员或者地面操作人员控制进行抓捕作业，因此，各个航天大国都在对空间机器人在轨抓捕关键技术进行研究和演示验证，但目前研究成果大多处于概念设计阶段，距离实际应用还有很大差距。

发明内容

鉴于以上现有技术的不足，本发明的目的在于提供一种基于3D视觉和模仿学习的自由漂浮目标抓捕技术，该技术集成了目标位姿估计，轨迹预测，机械臂轨迹规划等技术，保证精度和抓捕速度，能够实现目标的自主抓捕。

为了解决上述问题，本发明采用如下技术方案：

一种基于3D视觉和模仿学习的自由漂浮目标抓捕方法，其特征在于，包括以下步骤：

步骤1：基于视觉的位姿估计，实时反馈目标的位置和姿态；

步骤2：轨迹预测，根据历史一段时间位置和姿态轨迹，动态预测后一段时间的位置和姿态轨迹；

步骤3：基于模仿学习的轨迹规划，采集人的抓捕数据，建立技能模型，将其迁移到机器人上，根据步骤2所预测的轨迹，确定合适的抓捕时机进行抓捕。

在上述的一种基于3D视觉和模仿学习的自由漂浮目标抓捕方法，所述步骤1中，基于视觉的位姿估计方法为三维模板匹配方法，融合了RGB信息，深度信息及点云信息，具体包括：

步骤1.1：建立模板库，利用OpenGL，直接采集漂浮物体抓取点三维模型不同视点不同距离的模板，模板特征为RGB图像边缘梯度向量与深度图像法向量；

其中，梯度向量计算公式为：

其中，x表示像素位置，R,G,B分别表示图像的三个通道，法向量的计算方法为通过最小二乘法求取最优的深度梯度，通过深度梯度求取法向量；

步骤1.2：计算自由漂浮目标初始位姿，根据RGB与深度信息，进行窗口搜索，得到目标的初始位姿，使用如下公式进行相似度计算：

步骤1.3：根据初始位姿进行ICP点云匹配，得到目标的精确位姿，使用如下公式进行计算：

其中p_i为目标点云中的点，q_i为源点云中与之对应的点，R为旋转变换，t为平移量。