[发明专利]基于深度强化学习TD3算法的无人机格斗自主决策方法

权利要求书

1.一种基于深度强化学习TD3算法的无人机格斗自主决策方法，其特征在于，包括步骤：

建立无人机运动模型；

根据所述无人机运动模型，基于马尔可夫决策过程建立无人机空中格斗模型，其中，所述无人机空中格斗模型使用包括状态空间、动作空间、奖励函数和折扣因子的四元组表示，所述无人机运动模型表示所述无人机空中格斗模型中的状态转移函数；

根据所述无人机空中格斗模型，基于TD3算法训练无人机学习机动策略。

2.根据权利要求1所述的一种基于深度强化学习TD3算法的无人机格斗自主决策方法，其特征在于，所述无人机运动模型包括动力学模型和运动学模型，所述建立无人机运动模型包括：

建立无人机在惯性坐标系中的动力学模型：

其中，所述g表示重力加速度；所述v表示所述无人机的速度且所述v满足约束条件：v_min≤v≤v_max；航迹倾角γ表示v与水平面的夹角，γ∈[-π/2,π/2]；航迹偏角ψ表示v在水平面上的投影与坐标轴X轴的夹角，ψ∈(-π,π]；所述n_τ表示切向过载；所述n_f表示法向过载；所述μ表示滚转角；

建立所述无人机在所述惯性坐标系中的运动学模型：

其中，所述x、所述y和所述z表示所述无人机在所述惯性坐标系下的坐标。

3.根据权利要求2所述的一种基于深度强化学习TD3算法的无人机格斗自主决策方法，其特征在于，所述状态空间包括：敌方无人机和我方无人机的本身状态和相对状态。

4.根据权利要求3所述的一种基于深度强化学习TD3算法的无人机格斗自主决策方法，其特征在于，通过如下方式构建所述状态空间：

设定所述敌方无人机和所述我方无人机的本身状态：

S＝[x_r,y_r,z_r,x_b,y_b,z_b,v_r,v_b,γ_r,γ_b,ψ_r,ψ_b,μ_r,μ_b]

基于所述敌方无人机和所述我方无人机的本身状态，设定所述敌方无人机和所述我方无人机的相对状态：

S_rb＝[D,α,β,v_r,v_b,γ_r,γ_b,ψ_r,ψ_b,μ_r,μ_b]

其中，x_r,y_r,z_r表示所述我方无人机在三维空间中的坐标值，x_b,y_b,z_b表示所述敌方无人机在所述三维空间中的坐标值，所述v_r表示所述我方无人机的速度，所述v_b表示所述敌方无人机的速度，所述γ_r表示所述我方无人机的航迹倾角，所述γ_b表示所述敌方无人机的航迹倾角，所述ψ_r表示所述我方无人机的航迹偏角，所述ψ_b表示所述敌方无人机的航迹偏角，所述μ_r表示所述我方无人机的滚转角，所述μ_b表示所述敌方无人机的滚转角，所述D表示所述敌方无人机和所述我方无人机之间的相对距离，水平视线偏角α表示所述敌方无人机和所述我方无人机的视线在水平面上投影与X轴的夹角，纵向视线偏角β表示所述敌方无人机和所述我方无人机的视线与水平面的夹角。

5.根据权利要求2所述的一种基于深度强化学习TD3算法的无人机格斗自主决策方法，其特征在于，通过如下公式构建所述动作空间：

A＝[n_τ,n_f,ω]

其中，所述n_τ表示切向过载，n_f表示法向过载，ω表示机体滚转角速度。