[发明专利]一种无人机降落空间位置和姿态端到端估计方法

权利要求书

1.一种无人机降落空间位置和姿态端到端估计方法，其特征在于，包括如下步骤：

步骤1，获取地基视觉拍摄的无人机降落实时图像序列，并基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿；

步骤2，基于地基相机与世界坐标系的转换矩阵，将无人机相对地基相机的位姿转换为在世界坐标系下的空间位姿；

步骤1中，所述基于各帧无人机降落实时图像之间的时域关联，得到无人机相对地基相机的位姿，具体为：

步骤1.1，对当前帧无人机降落实时图像进行特征提取与区域分割，输出当前帧的目标区域特征图；

步骤1.2，将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿；

其中，若当前帧为第1帧，则将当前帧的目标区域特征图复制叠加后进行选择性记忆和遗忘；

步骤1中，采用无人机位姿端到端估计神经网络得到无人机相对地基相机的位姿，所述无人机位姿端到端估计神经网络包括：

特征提取网络，用于对目标图像进行特征提取，输出目标图像的特征图；

区域生成网络，用于对目标图像的特征图进行检测与分割，输出目标区域特征图；

位姿回归网络，用于将当前帧的目标区域特征图与上一帧的目标区域特征图叠加后进行选择性记忆和遗忘，得到当前帧目标图像中的目标相对于第1帧目标图像中目标的位姿；

所述无人机位姿端到端估计神经网络需进行训练，其训练过程为：取连续J帧无人机降落实时图像作为输入，对J帧无人机降落实时图像的检测、分割以及位姿估计，并基于位姿估计的损失函数更新无人机位姿端到端估计神经网络的网络参数，完成训练；

所述损失函数由和组成：

其中和为比例因子；由3部分构成：

其中、和为比例因子；

假设网络输出的目标概率值为，则定义为：

假设网络输出的目标区域图像位置按照左上角横坐标、左上角纵坐标、矩形框宽和矩形框长的顺序表示为，目标的真实图像位置为，则定义为：

定义为网络输出的目标像素区域二值化图像与真实目标像素区域二值化图像的交叉熵；

定义为网络输出的4维位姿向量同真实位姿向量之间的2范式距离，其中，4维位姿向量由3维李代数空间向量和1维目标距离构成。

2.根据权利要求1所述无人机降落空间位置和姿态端到端估计方法，其特征在于，所述位姿回归网络中，采用长短期记忆网络LSTM单元进行选择性记忆和遗忘，所述LSTM单元具有遗忘门、输入门和输出门。

3.根据权利要求2所述无人机降落空间位置和姿态端到端估计方法，其特征在于，所述LSTM单元进行选择性记忆和遗忘的具体过程为：

式中，、和分别表示输入门、遗忘门和输出门；为sigmod函数；、和分别表示输入门、遗忘门和输出门的偏差因子；、和分别表示输入门、遗忘门和输出门的云运算子的参数集合；表示LSTM单元的输入，即第帧叠加后的目标区域特征图；为记忆单元，通过不断地获取新的记忆并遗忘较为久远的记忆，存储一定步长范围内的信息；为隐层状态，用于相邻帧的LSTM单元传递信息；

其中，若当前帧为第1帧，则上式中的和皆省略。