[发明专利]双视觉飞行机械臂系统及动态目标位姿估计与主动重建方法

说明书

本发明公开了一种双视觉飞行机械臂系统，可以有效保证系统同时对静态世界与动态目标的观测质量，提高视觉里程计的鲁棒性与精确性。同时还提出一种动态目标主动追踪与三维重建方法，通过机械臂正运动学建立机体相机与颈眼相机两个独立视觉里程计的联系。同时本发明提出的松耦合式位姿估计系统可以避免机械臂运动学误差对重建精度的影响。对于动态目标的相对位姿估计，提出基于2D PCA与3DDBSCAN的特征分割方法，有效区分动静态特征，提高定位精度。同时提出动态目标的相对静止信息场评估，通过优化最佳探索视角实现动态目标的主动三维重建，有效提高重建效率。基于图像视觉伺服的主动追踪策略，有效减小动态目标丢失的概率。

技术领域

本发明属于无人机以及自主服务机器人追踪定位领域，具体涉及一种双视觉飞行机械臂系统及动态目标位姿估计与主动重建方法。

背景技术

飞行机械臂(Aerial manipulator)是指在无人机中搭载轻质多自由度机械臂，使能完成空中探索、空中抓取、空中运输等主动作业任务。在实际的许多抓取任务中，不合理的抓取点往往是导致作业失败的重要原因之一。对目标物进行三维重建，得到其完整三维模型，可以应用于识别抓取点，有效提高抓取成功率。因此，在抓取前对目标完成三维重建是十分重要的。同时，飞行机械臂续航能力有限，需要优化最佳探索视角并采取主动追踪策略，减小目标丢失的概率，提高重建效率。类似于老鹰等生物对动态目标的捕食，通过机载传感器实现自身定位及动态目标位姿估计，完成对动态目标的主动追踪与三维重建，可以使飞行机械臂摆脱人工标记物的束缚，自主实现对自然动态目标的主动作业，在环境保护、军事国防等领域具有重大的应用价值。

发明专利《一种地形自适应无人机三维实景重建航摄点自动规划方法》(公开号：CN112710311A)公开了一种地形自适应无人机三维实景重建航摄点自动规划方法，在确定最优航线航向的前提下，计算摄影基线和航带间距、航点坐标、航摄点相对航高及自适应航摄行偏航角和俯仰角计算。该发明在规划行航摄角度时考虑航摄曝光点、对应地面投影点关系坐标和相对位置，使能捕获更多的侧面纹理，提高后期重建的精度。

发明专利《一种面向无人机矿山巡检场景的快速三维重建方法》(公开号：CN112288875A)公开了一种面向无人机矿山巡检场景的快速三维重建方法，通过在无人机上挂在云台相机，实现灵活的场景图像采集。结合多视图几何与深度学习技术，估计相机位姿，并融合得到整个场景的稠密点云，输出场景重建模型。同时基于多视角立体几何技术在稠密点云基础上重建网络并进行纹理贴图，恢复得到包含真实纹理的数字正射影像DOM和数字地表模型DSM，提高可视性。

上述专利提到的方法，无人机的定位依赖于外部定位系统，如GPS，且均是对静态场景的被动式感知与重建。在实际的许多应用中，在诸如建筑、树木密集以及室内封闭等场景中，卫星信号容易受到物理阻挡和反射的干扰，从而导致GPS信号丢失，定位失败。为了提高机器人的自主性，需要利用机载传感器实现机器人同时定位、建图与动态目标追踪；同时，无人机续航能力有限，上述发明的被动式重建方式效率较低，并未同时考虑重建的轨迹与方位，因此耗时较长；实际的许多需求中，重建的对象可能是运动的，因此需要考虑针对动态目标的主动追踪与重建。

发明内容

本发明的目的之一在于提供一种双视觉飞行机械臂系统，通过机体相机和颈眼相机形成的双视觉同时保障系统对静态世界与动态目标的观测质量，使系统具备估计机体自身位姿与动态目标位姿的能力，实现针对动态目标的自主灵活追踪与主动三维重建，并提高动态目标的位姿估计精度、重建精度与减小目标丢失的概率。

为实现上述发明目的，本发明采取的技术方案如下：

一种双视觉飞行机械臂系统，包括：

无人机，所述无人机用于执行空中移动任务，所述无人机上设置搭载平台和机械臂基座；

机械臂，所述机械臂的首端安装在所述无人机的机械臂基座上，所述机械臂的末端安装用于执行空中抓取任务的夹爪；