[发明专利]基于深度强化学习的空空导弹越肩发射制导律设计方法

权利要求书

1.一种基于深度强化学习的空空导弹越肩发射制导律设计方法，其特征在于，包括步骤如下：

步骤1，对越肩发射进行归一化动力学建模；对模型进行归一化使各状态量具有相近的量级，从而使神经网络的权重更新能够更加稳定；首先对导弹越肩发射的场景进行建模，得到气动系下的动力学方程与惯性系下的运动学方程以及考虑质量变化的方程；

步骤2，为了适应强化学习的研究范式，需要将步骤1中的研究问题建模为马尔科夫决策过程；

步骤3，搭建算法网络，设置算法参数；选用的深度学习算法为近端策略优化算法PPO，该算法包含Actor网络和Critic网络，网络权重参数采用随机化参数；

步骤4，在训练达到目标奖励值或最大步数之前，智能体将根据PPO算法不断收集状态转移数据及奖励，并不断迭代更新Actor网络和Critic网络的参数。

2.根据权利要求1所述的基于深度强化学习的空空导弹越肩发射制导律设计方法，其特征在于：在步骤1中，方程具体为：

其中为导弹归一化后飞行速度，为归一化后弹道倾角，为归一化后横坐标，为归一化后纵坐标，为前述各量相应变化率，而V_*、θ_*、x_*、y_*为前述各量相应的归一化因子；此外α为导弹攻角，P为主发动机推力，T_rcs为反作用喷气发动机推力，u_p和u_rcs分别为主发动机和反作用喷气发动机的开关机逻辑量，F_D和F_L分别为具有较强不确定性的阻力和升力，m为导弹质量，m_c为质量流量，g为重力加速度常数。

3.根据权利要求1所述的基于深度强化学习的空空导弹越肩发射制导律设计方法，其特征在于：在步骤2中，具体过程包括步骤201至步骤203；

步骤201，动作空间设置；为了保证系统动态的平稳性，选用攻角α的一阶导数作为系统输入；此外，将作为动作还能满足导弹的机动能力限制；但随着未来空空导弹机动能力的发展，尤其是在推力矢量或反作用喷气的辅助下，用攻角的限制也将随之取消；

步骤202，状态空间及观测空间设置；在步骤201设置动作的基础上，设置智能体的状态空间和观测空间，但并不是系统中所有的状态都对控制指令的决策有意义；冗余的观测将导致训练的不稳定，而不足的观测则容易直接导致训练不收敛；

步骤203，奖励函数设置；奖励函数的设置对最终训练效果有着重要的影响，为了避免奖励稀疏，这里设计的奖励函数为其中为期望转弯角度，θ_M为导弹弹道倾角，λ₁，λ₂，λ₃为需要设置的超参数，用于调节各项之间的比例；且为了提高最终转弯精确度，引入额外奖励r_bonus，其值为其中r_b为在满足精度条件时的额外奖励，r_b需要与前面各项相协调以保证智能体在理想精度θ_thre内获得合适的奖励。