[发明专利]一种无人机降落空间位置和姿态端到端估计方法

说明书

本发明公开一种无人机降落空间位置和姿态端到端估计方法，包括如下步骤：步骤1，获取地基视觉拍摄的无人机降落实时图像序列，并基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿；步骤2，基于地基相机与世界坐标系的转换矩阵，将无人机相对地基相机的位姿转换为在世界坐标系下的空间位姿。依托机器学习理论，充分借鉴深度学习在计算机视觉领域的优秀成果，通过设计一种无人机目标相对空间位姿深度神经网络，实现了无人机降落过程中由图像到无人机空间位姿的端到端直接估计，相比传统的多模块串行方法大幅提升了无人机降落过程中位姿估计对环境光照、视觉背景以及观测视角等因素适应性。

技术领域

本发明涉及无人机自主降落技术领域，具体是一种无人机降落过程中根据地基视觉图像端到端估计无人机空间位置和姿态的方法。

背景技术

在无人机自主起降过程中，根据全球卫星定位系统以及惯性导航系统实时获取无人机自身位置和姿态信息，是当前无人机在降落过程中实现自主定位和定姿的主要手段。考虑到环境中诸如磁场、温度的因素容易造成对机载定位系统的干扰，在整个无人机降落过程中，仅仅依赖机载定位系统无法保证为无人机提供稳定的精准位姿信息。利用地基单目视觉系统对无人机降落过程进行观测，可利用计算机视觉技术实现对无人机空间位置和姿态的实时估计，辅助机载定位系统为无人机提供更加准确和稳定的实时空间位姿信息。目前，利用双目测距原理、PnP问题求解等传统方法根据二维图像估计目标的空间位置和姿态，往往需要经过无人机目标检测、点/线/面特征提取以及位姿解算等多个独立的串行流程，位姿估计精度容易受到光照、背景、视角变化等因素的影响，在鲁棒性方面存在不足。当前，通过深度神经网络端到端估计无人机位姿的相关方法虽然相比传统方法实现了环境鲁棒性的提升，但这类方法仅仅利用了无人机单帧图像，忽略了无人机降落序列图像中蕴含的时域依赖关系，因而位姿估计精度不高。因此，迫切需要设计一种环境适应性较强且估计精度较高的无人机降落位姿估计方法。

发明内容

针对上述现有技术中存在的一项或多项不足，本发明提供一种无人机降落空间位置和姿态端到端估计方法，具有强鲁棒与高精度。

为实现上述目的，本发明提供一种无人机降落空间位置和姿态端到端估计方法，包括如下步骤：

步骤1，获取地基视觉拍摄的无人机降落实时图像序列，并基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿；

步骤2，基于地基相机与世界坐标系的转换矩阵，将无人机相对地基相机的位姿转换为在世界坐标系下的空间位姿。

作为上述技术方案的进一步改进，步骤1中，所述基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿，具体为：

步骤1.1，对当前帧无人机降落实时图像进行特征提取与区域分割，输出当前帧的目标区域特征图；

步骤1.2，将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿；

其中，若当前帧为第1帧，则将当前帧的目标区域特征图复制叠加后进行选择性记忆和遗忘。

作为上述技术方案的进一步改进，步骤1中，采用无人机位姿端到端估计神经网络得到无人机相对地基相机的位姿，所述无人机位姿端到端估计神经网络包括：

特征提取网络，用于对目标图像进行特征提取，输出目标图像的特征图；

区域生成网络，用于对目标图像的特征图进行检测与分割，输出目标区域特征图；

位姿回归网络，用于将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿。