[发明专利]一种基于细粒度重复策略的无人机机动飞行控制方法

说明书

本申请属于无人机智能控制领域，为一种基于细粒度重复策略的无人机机动飞行控制方法，基于无人机气动力参数构建全量六自由度模型和飞行控制率模块，用于模拟飞行控制环境，而后通过建立马尔科夫决策过程来分析各个控制指令以及对应的奖惩函数，而后通过DDPG算法和细粒度策略网络的结合形成各个控制指令与时间相对应的集合，对无人机进行控制。与传统机动控制器相比较不需要精确的线性化控制建模，能够生成连续的机动控制指令，不存在控制器切换而产生的指令反复跳变等问题。与经典的深度强化学习算法相比，该方法生成的机动飞行控制指令更加平滑，减少飞行任务中的指令有害切换次数，进而能够加快深度强化学习算法的训练速度。

技术领域

本申请属于无人机智能控制领域，特别涉及一种基于细粒度重复策略的无人机机动飞行控制方法。

背景技术

无人机机动飞行控制属于无人机智能飞行控制领域，传统的机动飞行控制器采用底层线性控制率和顶层机动逻辑相结合的方式，该方法属于多模态线性控制器的组合使用，具有切换边界不稳定，控制指令存在跳变和对线性化控制模型严重依赖等缺陷。而现有的基于DQN和DDPG等经典深度强化学习算法的智能机动飞行控制器则具有控制指令切换频率快，机动控制策略不平滑等缺点，会给无人机作动器带来灾难性的影响。

因此，如何减少无人机作动器控制指令的切换频率、提高机动控制策略的平滑性是一个需要解决的问题。

发明内容

本申请的目的是提供了一种基于细粒度重复策略的无人机机动飞行控制方法，以解决现有技术中传统的机动飞行控制器控制策略不平滑的问题。

本申请的技术方案是：一种基于细粒度重复策略的无人机机动飞行控制方法，包括：基于无人机气动力参数构建全量六自由度模型和飞行控制率模块，形成机动飞行控制环境模拟器；建立马尔科夫决策过程，设定奖惩函数，进行最优策略的求解；将细粒度策略和DDPG相结合，训练无人机自主机动飞行控制智能体；进行智能机动飞行控制策略部署。

优选地，所述细粒度策略与DDPG的训练方法为：初始化细粒度重复网络θ_x、Actor网络、Actor-target网络的神经网络参数θ_μ，初始化Critic网络、Critic-target网络的神经网络参数θ_φ；根据Actor网络和细粒度重复网络选择无人机控制指令(a,x)并与环境交互，其中a是Actor网络的输出，使用OU随机过程进行探索；x是细粒度重复网络的输出，单位是step，构建n种选择x∈{2⁰,2¹,...,2ⁿ}，使用ε-贪婪策略进行探索；无人机响应模型控制指令(a,x)与环境进行多轮交互，并将产生的样本(s,a,x,r,s',d)存入样本缓冲区；开始训练，从样本缓冲区中随机抽取批数据进行训练，计算Critic神经网络的loss，并更新Critic网络参数；根据链式法则更新细粒度重复网络和Actor网络的参数；采用软更新方式更新Critic-target的网络参数θ_Q'和Actor-target的网络参数θ_μ'。

优选地，所述Critic神经网络的loss的计算方法为：

其中，Q^π(s,a,x)和Q^π'(s,a,x)分别代表Critic网络输出和Critic-target网络输出，和分别代表Actor网络和Actor-target网络输出；代表细粒度重复网络输出。

优选地，所述细粒度重复网络和Actor网络参数的更新算法为：

优选地，所述Critic-target的网络参数θ_Q'和Actor-target的网络参数θ_μ'的更新算法为：