[发明专利]无人机视觉导航策略方法、装置和介质

说明书

本申请公开了一种无人机视觉导航策略方法、装置和介质，方法包括：生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令；根据所述无人机控制命令控制无人机。本申请能够显著提高控制策略的性能，减少虚实环境差异对自主导航的影响，提高了策略迁移的鲁棒性和泛化性。

技术领域

本申请涉及无人机自主导航领域，尤其是一种无人机视觉导航策略方法、装置和介质。

背景技术

无人机一般在开放空域飞行，面对开放空域的感知控制问题(如纯视觉导航)，相关技术采取的方案包括采用机器学习技术，例如模仿学习和强化学习，解决对开放空域的感知控制问题。但是，相关技术机器学习过程中在真实标签数据的收集上具有较大困难，导致真实标签数据难以获得，无法适应真实场景，难以实现安全的导航应用。此外，由于相关技术中的低样本效率，仅使用现实数据解决任务比较困难，并且经常导致策略无法处理较大的感知变化。

因此，相关技术存在的上述技术问题亟待解决。

发明内容

本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供一种无人机视觉导航策略方法、装置和介质，能够实现无人机的视觉自主导航。

根据本申请实施例一方面，提供一种无人机视觉导航策略方法，所述方法包括：

生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集；

根据所述导航图像数据集和所述控制数据集计算多模态目标函数模型；

将所述导航图像数据集通过变分编码器映射到低维潜在空间，根据解码器的输出更新所述多模态目标函数模型；

将所述低维潜在空间映射到所述控制数据集，并根据所述多模态目标函数模型得到无人机控制命令；

根据所述无人机控制命令控制无人机。

在其中一个实施例中，生成导航图像数据集和控制数据集，采集所述导航图像数据集和所述控制数据集，包括：

建立世界坐标系、NED坐标系、机体坐标系、障碍物坐标系和相机坐标系；

生成并采集无人机运行时的图像信息、姿态信息和运动学信息；

将采集的样本集进行预处理。

在其中一个实施例中，生成并采集无人机运行时的图像信息、姿态信息和运动学信息，包括：

随机选取对于机体坐标系相对于世界坐标系下的位置信息和姿态信息；

将所述姿态信息转换为欧拉角，转换公式为：

其中，q_x为姿态信息在所述世界坐标系x轴的欧拉角，q_y为姿态信息在所述世界坐标系y轴的欧拉角，q_z为姿态信息在所述世界坐标系z轴的欧拉角，为所述机体坐标系相对于世界坐标系的滚转角度范围，为所述机体坐标系相对于世界坐标系的俯仰角度范围，为所述机体坐标系相对于世界坐标系的偏航范围。

在其中一个实施例中，生成并采集无人机运行时的图像信息、姿态信息和运动学信息，还包括：

对导航图像进行随机采样得到所述导航图像数据集，

计算门坐标系的相对于所述机体坐标系的滚转角度范围，计算公式为：