[发明专利]一种基于强化学习与网络模型蒸馏的无人机飞行控制方法

权利要求书

1.一种基于强化学习与网络模型蒸馏的无人机飞行控制方法，其特征在于，包含以下步骤：

(1)模拟真实无人机的观测及飞行控制，构建无人机环境模拟器；

(2)基于强化学习算法，在不同场景中进行训练，得到最优控制策略，以此构建无人机飞行控制系统；

(3)基于网络模型蒸馏技术，通过教师网络和学生网络计算辅助控制信息，量化当前场景与训练场景的差异，构建无人机辅助控制系统；

所述步骤(3)基于网络模型蒸馏技术，构建无人机辅助控制系统，通过量化当前场景与训练场景的差异，展示强化学习控制策略对当前场景的适应程度；构建教师网络和学生网络，将无人机状态S输入两个网络，获取其输出值V_T、V_S；模型蒸馏阶段，通过均方误差损失函数L^mse(θ)＝E[(V_T-V_S)²]，随机更新学生网络中的一半参数，使得学生网络逐渐学到教师网络蒸馏出的知识；应用阶段中，将|V_T-V_S|作为辅助控制信息，用于量化当前场景与训练场景的差异，展示控制策略对当前场景的适应能力。

2.根据权利要求1所述的基于强化学习与网络模型蒸馏的无人机飞行控制方法，其特征在于，所述步骤(2)基于强化学习算法，构建无人机飞行控制系统；基于强化学习算法，设计神经网络结构，定义相关网络损失函数，并设置强化学习算法超参数；使用强化学习策略控制无人机，在多个场景中进行训练，无人机自主学得在不同场景下的最优策略。

3.根据权利要求1所述的基于强化学习与网络模型蒸馏的无人机飞行控制方法，其特征在于，所述辅助控制信息|V_T-V_S|值小于阈值说明控制策略对当前场景适应能力强；辅助控制信息|V_T-V_S|值大于阈值说明当前场景与训练场景差异大，控制策略对当前场景适应能力差，应该停止使用强化学习策略，以此规避安全风险。

4.根据权利要求1所述的基于强化学习与网络模型蒸馏的无人机飞行控制方法，其特征在于，所述教师网络和学生网络的模型结构应相同或相似，以使其学习能力相近；所述教师网络和学生网络的模型结构应相同或相似指的是两个网络的模型结构应相同或相似，即网络层数相差不超过一层、相同层的参数数量相差不超过16个。

5.根据权利要求1所述的基于强化学习与网络模型蒸馏的无人机飞行控制方法，其特征在于，所述步骤(1)在物理引擎中，模拟真实世界的实体和场景，无人机环境模拟器包括无人机、无人机起点、无人机终点、空中障碍物和敌机；基于模拟器中的摄像头、雷达传感器模拟真实无人机的观测状态；基于真实无人机的飞行操作设置无人机的动作。