[发明专利]一种基于深度强化学习的无人机意图航迹预测方法

说明书

本发明公开了一种基于深度强化学习的无人机意图航迹预测方法，首先，建立意图航迹预测奖励函数模型，其中包含机动动作模型和地形模型；接着，建立深度强化学习网络模型，对网络中参数迭代计算的过程进行分析；然后，对动作价值函数的近似过程进行分析，为之后的策略选择做准备；最后，建立策略模型，通过该模型对动作价值函数进行选取，从而选择出最佳的飞行动作，并通过航迹的形式显示结果。本发明不仅能完整的显示无人机的意图航迹，还可以得知无人机在飞行过程中做了何种机动动作。

技术领域

本发明属于无人机领域，具体涉及一种基于深度强化学习的无人机意图航迹预测方法。

背景技术

意图预测是将各种传感器得到的信息进行综合分析、处理后，得到敌方下一阶段的企图和打算。由于空战过程和无人机的机动动作有着连续性，因此，敌方无人机的作战意图航迹可通过已获得的空战信息在经过合理推断后得知。充分掌握敌方招式，相当于赢得了一半的对抗。意图预测有多种详细的表述方式，对敌方的作战意图进行判断、分析敌军作战意图和计划、推断出敌方的行为模式和作战意图和确定敌方的意图特征等。它主要用来解决以下问题，敌方会采取何种行动、敌方为什么会采取该种行动、敌方采取该种行动的目的是什么和敌方采取该种行动的可能性有多大。按不同的作战场景来划分，可以将意图预测分为海战场意图预测、陆战场意图预测和空战场意图预测。按战争影响的层次，意图预测可以分为目标战略意图预测、目标战役意图预测、目标战术意图预测。总而言之意图预测是将各种传感器得到的信息进行综合分析、处理后，得到敌方下一阶段的企图和打算。

在现代空战中，战争局势迅速变化，若能提前预测出敌方无人机的意图航迹，我方就有充足的时间做出最佳的对抗决策，从而起到先敌制胜的效果，使我方在空战对抗中取得优势。因此，对敌方意图航迹进行提前预测具有十分重要的意义。

发明内容

发明目的：本发明提供一种基于深度强化学习的无人机意图航迹预测方法，以克服传统预测方法在求解意图航迹预测问题时存在的缺陷。

技术方案：本发明所述的一种基于深度强化学习的无人机意图航迹预测方法，包括以下步骤：

(1)构建意图航迹预测奖励函数模型；所述意图航迹预测奖励函数模型包含机动动作模型和地形模型；

(2)根据奖励函数模型建立深度强化学习网络模型，利用该网络模型进行意图动作的预测，并对深度强化学习网络参数的训练过程进行分析；

(3)对由深度强化学习网络参数得到动作价值函数的过程进行分析，为之后的策略选择做准备；

(4)建立策略模型，对动作价值函数进行选取，从而选择出最佳的飞行动作，并实时生成航迹。

进一步地，所述步骤(1)包括以下步骤：

(11)建立两个奖励函数：地形的奖励函数和飞行机动动作的奖励函数，总的奖励函数为两个奖励函数的加权和：

r_t＝λ_dr_d+λ_mr_m

其中，r_d为地形的奖励函数，r_m为飞行机动动作的奖励函数，λ_d、λ_m为相应的权重系数；当奖励值为正时，表示建议当前时刻对该动作的选择；当奖励值为负时，表示不建议当前时刻对该动作的选择；

(12)构建地形环境模型，对适合和不适合无人机作战的区域进行划分：按照实际地形环境将规划空间划分为正方形网格，每个网格的初始高度定义为0米，把两个地形环境划分为300*300个独立的网格单元；按照实际地形的等高线，为每个不同的网格单元赋上高度值；进行仿真，生成对应的数字地图；

意图航迹预测的地形威胁奖励函数r₁可表示为：