[发明专利]多无人平台协同对抗的实时重决策方法和系统

说明书

本发明提供一种多无人平台协同对抗的实时重决策方法和系统，涉及无人平台领域，包括：实时获取多无人平台协同对抗时的无人平台状态数据；计算无人平台状态数据的奖励回报；基于预先构建的Actor网络对无人平台状态数据进行处理，得到当前回合的多无人平台重决策方案；基于预先构建的Critic网络对无人平台状态数据进行处理，得到重决策价值函数；基于奖励回报和重决策价值函数计算TD误差；基于TD误差更新Actor网络和Critic网络；多无人平台执行多无人平台重决策方案，得到多无人平台协同对抗数据，并作为下一回合的无人平台状态数据。本发明可以得到最适应当前环境下的无人平台重决策方案。

技术领域

本发明涉及无人平台技术领域，具体涉及多无人平台协同对抗的实时重决策方法和系统。

背景技术

随着新兴技术的发展与应用，信息对抗、智能对抗已逐渐成为新的作战手段和作战形式，无人平台由于其能够自主的完成多种任务而被广泛地应用。然而随着无人平台在相关领域应用的不断推进，单架无人平台在执行任务时暴露出了灵活性和任务完成率的短板，因此，运用多架无人平台在空中构成相互协作、优势互补、效能倍增的协同作战系统，已成为本领域关注的热点和追求的目标。

多无人平台协同对抗环境中，对抗情况瞬息万变，呈现高动态、高实时和高不确定性的特点，并且多机协同对抗整体过程时间较长，无法对敌方的行动作出详细预测，作战前的战术决策和目标分配等决策都可能随着对抗过程中的进行而不再适用当前环境，因此，决策者需要根据复杂、动态变化的战场环境对多无人平台作战策略进行重决策。

现有的重决策方法普遍使用神经网络、模糊Petri网和影像图等方法进行，然而，由于多无人平台协同对抗环境的变化较为迅速，这些方法已经不能适用当前环境，即现有技术提供的重决策方法的效果较差。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多无人平台协同对抗的实时重决策方法和系统，解决了现有技术提供的重决策方法的效果较差的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明解决其技术问题所提供的一种多无人平台协同对抗的实时重决策方法，所述重决策方法由计算机执行，所述方法包括：

实时获取多无人平台协同对抗时的无人平台状态数据；

计算所述无人平台状态数据的奖励回报；

基于预先构建的Actor网络对所述无人平台状态数据进行处理，得到当前回合的多无人平台重决策方案；

基于预先构建的Critic网络对所述无人平台状态数据进行处理，得到重决策价值函数；基于所述奖励回报和所述重决策价值函数计算TD误差；

基于所述TD误差更新所述Actor网络和Critic网络；

多无人平台执行所述多无人平台重决策方案，得到多无人平台协同对抗数据，并作为下一回合的无人平台状态数据，以使更新后的Actor网络对无人平台状态数据进行处理，得到下一回合的多无人平台重决策方案，直至多无人平台重决策方案可以使得多无人平台协同对抗结束。

优选的，所述无人平台状态数据包括：无人平台横坐标、无人平台纵坐标、无人平台飞行高度、无人平台飞行速度、无人平台横滚角、无人平台航向角、无人平台俯仰角、无人平台余弹数量和无人平台类型。

优选的，所述预先构建的Actor网络采用全连接神经网络，包括：1个输入层、2个隐藏层和1个输出层；

所述基于预先构建的Actor网络对所述无人平台状态数据进行处理，得到当前回合的多无人平台重决策方案，包括：