[发明专利]一种微型航空飞行器的飞行控制方法、装置及设备

说明书

本申请公开了一种微型航空飞行器的飞行控制方法，能够在一定情况下增大单步的执行时间，相当于减少了自主飞行过程中的总飞行步数，即减少整个自主飞行过程中的计算量和决策耗时，降低微型航空飞行器的计算能耗和机械能耗，提升微型航空飞行器的续航能力。此外，本申请还提供了一种微型航空飞行器的飞行控制装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

技术领域

本申请涉及计算机技术领域，特别涉及一种微型航空飞行器的飞行控制方法、装置、设备及可读存储介质。

背景技术

MAV(Micro Aerial Vehicle，微型航空飞行器)通常是一个集传感器、飞行控制计算机以及驱动于一体的轻量级的无人飞行系统。它既可以受远程控制器操控飞行，也能根据内置程序来进行自主飞行。

DRL(Deep Reinforcement Learning，深度强化学习)算法是目前广泛用于实现微型航空飞行器自主飞行的方案之一，而DQN(Deep Q-Network，深度Q网络)算法是最具代表性的一种DRL算法。DQN是一个包含多个卷积层与多个全连接层，输出空间离散的神经网络，是Q-Learning算法的一种改进方案。Q-Learning算法的核心是一个关于状态s-动作a的Q值表，每个(s,a)对应一个Q值。每次决策时，智能体(如微型航空飞行器)根据当前状态信息去查Q值表，得到该状态下各动作的Q值，根据贪婪策略选取具有最大Q值的行动。然而，在复杂环境下，状态空间往往很大，而Q值表往往是有限的，因此Q-leaning算法此时并不适用。DQN是利用一个神经网络作为近似函数来替代Q值表，将获取到的信息进行初步处理，然后作为输入传输到神经网络中，经过神经网络的处理，可以得到n个Q值(n是该网络的输出空间大小)，最终，基于某种策略来选择最终的行动方案。

微型航空飞行器由于其轻量级、低成本的特点被广泛应用于灾难救援、包裹传递等方面。然而，作为一个移动机器，其板载电池容量极为有限，使得续航能力低下。目前，大多数的研究致力于设计更好的路径规划算法来提高能效，极少的工作从微型航空飞行器的飞行特点以及算法本身的特性出发，来设计优化方案。

综上，如何根据微型航空飞行器的飞行特点，减少微型航空飞行器的能耗，提升续航能力，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种微型航空飞行器的飞行控制方法、装置、设备及可读存储介质，用以解决微型航空飞行器电池容量有限，续航能力差的问题。其具体方案如下：

第一方面，本申请提供了一种微型航空飞行器的飞行控制方法，包括：

确定当前步的感知信息；

将所述当前步的感知信息输入DQN模型，得到多个Q值；

确定所述多个Q值中最大Q值对应的飞行策略；

计算所述多个Q值中最大Q值和次大Q值的差值，以作为当前步的Q值差值；判断所述当前步的Q值差值是否大于上一步的Q值差值；若大于，则记录所述当前步的Q值差值；若小于等于，则增大当前步的执行时间；

根据所述飞行策略和所述当前步的飞行时间，控制微型航空飞行器飞行一步。

优选的，所述确定当前步的感知信息，包括：

若上一步采取的动作类型为前进，则根据上一步的感知信息预估当前步的感知信息；

若上一步采取的动作类型为偏转，则利用机载传感器采集当前步的感知信息。

优选的，所述根据上一步的感知信息预估当前步的感知信息，包括：

根据上一步的感知信息、飞行速度、单步执行时间，预估当前步的感知信息。

优选的，所述感知信息包括周围环境信息和运动学状态信息；