[发明专利]一种基于深度强化学习的四旋翼无人机航线跟随控制方法

说明书

本发明提出了一种基于深度强化学习的四旋翼无人机航线跟随控制方法，该方法首先建立了四旋翼无人机航线跟随深度强化学习算法的马尔可夫模型，然后采用深度确定性策略梯度(DDPG)算法进行深度强化学习，克服以往基于强化学习的方法控制精度较低、无法实现连续控制和学习过程不稳定等问题，实现高精度的四旋翼无人机航线跟随控制。本发明方法将强化学习与深度神经网络相结合，提高了模型的学习能力和泛化能力，避免了在不确定性环境中人为操作无人机飞行的繁琐性和粗疏性，使得无人机完成航线跟随任务更为安全高效，同时在无人机目标跟踪、自主避障等场景中有很好的应用前景。

技术领域

本发明属于智能控制领域，尤其涉及一种无人机航线跟随控制方法。

背景技术

近年来，随着四旋翼无人机在工业巡检、抢险救灾、生活辅助等诸多领域的大放异彩，其逐渐成为军事航空学术研究中新的前沿和热点。针对无人机完成高空航线跟随、目标跟踪等人类无法到达现场操作的任务场景，保证无人机飞行的自主性和可控性是一项最基本且重要的功能要求，是实现各项复杂作业任务的前提。由于诸多原因，无人机自主决策与控制在智能控制领域仍然面临巨大的挑战。其一，无人机飞行控制输入输出量繁多，其运动学和动力学模型复杂，具有高度非线性、强耦合和时变等特点；其二，受诸多不可控因素影响，无人机在高空飞行时，无法对内外部不确定因素的改变做出合理反应；其三，无人机作为一种欠驱动系统，高精度、高质量完成飞行任务较为困难。因此，如何实现无人机执行任务的自主决策，成为无人机在军事应用领域得到更加广泛应用的关键问题。

现有技术中无人机智能控制方法有很多。公开专利CN109544597A提出一种基于视觉的四旋翼无人机目标跟踪方法，通过无人机拍摄获取跟踪目标的图像，通过深度神经网络对其进行特征提取，进而控制无人机飞行轨迹实现目标跟踪。该发明使用基于视觉的方法，自适应能力较弱，在视觉装置无法正常使用时，无法对未知环境做出判断进而做出正确决策。公开专利CN109933086A提出一种基于深度Q学习的无人机环境感知与自主避障方法，将深度强化学习运用于无人机自主决策之中，实现无人机在未知环境的感知与决策。然而，该方法对四旋翼无人机模型进行了解耦或线性化处理，很难满足四旋翼无人机在特定应用场景下的高精度控制。

发明内容

为了克服现有技术的不足，本发明提出了一种基于深度强化学习的四旋翼无人机航线跟随控制方法，该方法首先建立了四旋翼无人机航线跟随深度强化学习算法的马尔科夫模型，然后采用深度确定性策略梯度(DDPG)算法进行深度强化学习，克服以往基于强化学习的方法控制精度较低、无法实现连续控制和学习过程不稳定等问题，实现高精度的四旋翼无人机航线跟随控制。通过四旋翼无人机与环境的交互，采用离线学习对神经网络进行训练，并结合四旋翼无人机飞行特性和姿态控制要求，设计环境空间、状态空间、动作空间和奖惩机制，提高深度强化学习模型的泛化能力，最终实现四旋翼无人机完成状态输入-神经网络分析-动作输出工作，从而执行飞行动作完成航线跟随任务。

为达到上述目的，本发明提供的一种基于深度强化学习的四旋翼无人机航线跟随控制方法，包括以下步骤：

步骤1：采用如下步骤定义四旋翼无人机航线跟随深度强化学习算法的马尔科夫模型：

对马尔科夫决策过程MDP的五元组(s,A,P,R,γ)进行建模，其中s为四旋翼无人机的输入状态，A为四旋翼无人机的输出动作集，P为状态转移概率函数，R为奖励函数，γ为折扣系数；

步骤1-1：确定四旋翼无人机的输入状态s：

建立机体坐标系c_b和惯性坐标系c_i，定义φ、θ、ψ分别表示机体坐标系下四旋翼无人机的滚动角、俯仰角和偏航角；