[发明专利]一种基于细粒度重复策略的无人机机动飞行控制方法

权利要求书

1.一种基于细粒度重复策略的无人机机动飞行控制方法，其特征在于，包括：

基于无人机气动力参数构建全量六自由度模型和飞行控制率模块，形成机动飞行控制环境模拟器；

建立马尔科夫决策过程，设定奖惩函数，进行最优策略的求解；

利用DDPG算法和细粒度策略网络对环境进行交互，建立样本缓存区，从样本缓存区中抽取参数，利用DDPG算法获得参数的控制指令和评价值，将评价值输入至细粒度策略网络中获取对应控制指令的持续时间，如此反复，训练无人机自主机动飞行控制智能体；

将训练完成的DDPG算法和细粒度策略网络部署至无人机中，进行智能机动飞行控制策略部署；

所述细粒度策略与DDPG的训练方法为：

初始化细粒度重复网络θ_x、Actor网络、Actor-target网络的神经网络参数θ_μ，初始化Critic网络、Critic-target网络的神经网络参数θ_φ；

根据Actor网络和细粒度重复网络选择无人机控制指令(a,x)并与环境交互，其中a是Actor网络的输出，使用OU随机过程进行探索；x是细粒度重复网络的输出，单位是step，构建n种选择x∈{2⁰,2¹,...,2ⁿ}，使用ε-贪婪策略进行探索；

无人机响应模型控制指令(a,x)与环境进行多轮交互，并将产生的样本(s,a,x,r,s',d)存入样本缓冲区；

开始训练，从样本缓冲区中随机抽取批数据进行训练，计算Critic神经网络的loss，并更新Critic网络参数；

根据链式法则更新细粒度重复网络和Actor网络的参数；

采用软更新方式更新Critic-target的网络参数θ_Q'和Actor-target的网络参数θ_μ'。

所述Critic神经网络的loss的计算方法为：

其中，Q^π(s,a,x)和Q^π'(s,a,x)分别代表Critic网络输出和Critic-target网络输出，和分别代表Actor网络和Actor-target网络输出；代表细粒度重复网络输出；

所述细粒度重复网络和Actor网络参数的更新算法为：

2.如权利要求1所述的基于细粒度重复策略的无人机机动飞行控制方法，其特征在于，所述Critic-target的网络参数θ_Q'和Actor-target的网络参数θ_μ'的更新算法为：

3.如权利要求1所述的基于细粒度重复策略的无人机机动飞行控制方法，其特征在于，所述全量六自由度模型的构建方法为：

设定载机为理想刚体，地表面是平面，不考虑地球形状；载机受到的重力恒定不变；不考虑风的因素；无人机的姿态角包括俯仰角、偏航角和滚转角以及三轴角速度，无人机的速度矢量包括三轴速度，机体轴与速度轴的夹角为攻角和侧滑角；

定义机体坐标系中机头方向为x轴，z轴垂直于机体向下，y轴由右手定则判定为右机翼方向；俯仰角θ为x轴与水平面夹角，向上为正，向下为负；偏航角ψ为x轴在地面上的投影与北向的夹角，向右为正，向左为负；滚转角φ为z轴与通过x轴的铅垂平面的夹角；载机向右转时为正；三轴角速度中滚转角速度p与x轴重合，俯仰角速度q与y轴重合，偏航角速度r与z轴重合；攻角α是速度向量在载机对称面上的投影与x轴的夹角；侧滑角β为速度向量与飞机对称面的夹角，向右为正，向左为负；

无人机模型为：

其中：

4.如权利要求1所述的基于细粒度重复策略的无人机机动飞行控制方法，其特征在于：利用标准动态逆方法构建飞行控制率模块。

5.如权利要求1所述的基于细粒度重复策略的无人机机动飞行控制方法，其特征在于，在t＝t₁,t₂,…t_n时刻，所述马尔科夫决策模型为：

其中S为状态空间集合，s和s'表示S中的状态，是S的元素；A(s)为动作集合，所有可能动作a的集合；为转移概率，采取相应的动作a导致系统的状态由s转移到s'的转移概率，其中a_t∈A,s_t∈S，为奖惩函数，采取相应的动作a导致系统的状态由s转移到s'所得到的奖惩函数，