[发明专利]一种无人机强化学习训练系统的实现方法

说明书

本发明提供了一种无人机强化学习训练系统的实现方法，包括系统控制模块、无人机仿真训练模块、X‑Plane Gym模块、强化学习算法模块强化学习算法模块和数据存储模块；无人机仿真训练模块用于为无人机提供仿真的训练环境；无人机仿真训练模块与系统控制模块之间通过X‑Plane Gym模块进行接口通信；强化学习算法模块强化学习算法模块用于提供无人机仿真训练模块中需要的算法；数据存储模块用于收集、存储无人机仿真训练模块中训练数据。本发明有益效果：结合X‑Plane软件建立了强化学习训练、算法评估、空战推演系统，可以更真实的模拟无人机在不同环境中的飞行状态，完成无人机智能化模型训练、算法评估、空战推演功能。

技术领域

本发明属于无人机领域，尤其是涉及一种无人机强化学习训练系统的实现方法。

背景技术

目前，无人作战飞机(Unmanned Combat Aerial Vehicle，UCAV)的空战过程智能化技术研究已经是国内外专家的热门课题。由于无人机能承受的过载大以及未来空战的复杂度高，利用人工智能等技术赋予无人机相当程度的自主决策权限，实现UCAV空战过程智能化。

在实际使用过程中，无人机在智能化训练的过程中需要与实际环境不断交互，从而产生大量的训练数据，显然有些训练的过程无法使用无人机在真实的环境中进行，因此亟需一种无人机强化学习训练系统的实现方法，提供一种虚拟的仿真方法，让无人机在仿真环境中进行智能化训练、仿真推演。

发明内容

有鉴于此，本发明旨在提出一种无人机强化学习训练系统的实现方法，采用X-Plane作为仿真训练环境，以数据存储模块、X-Plane Gym模块、强化学习算法模块、系统控制模块为基础，对外提供标准化的接口，实现高效的训练数据收集存储、模型训练、空战仿真推演功能。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面本方案公开了一种无人机强化学习训练系统，包括系统控制模块、无人机仿真训练模块、X-Plane Gym模块、强化学习算法模块和数据存储模块；

系统控制模块从强化学习算法模块获得无人机的控制参数，并将获得的控制参数通过X-Plane Gym模块提供的GYM标准接口发送给X-Plane Gym模块；X-Plane Gym模块将收到的控制参数转化为X-Plane仿真环境可识别动作，包括升级杆、副翼杆、方向舵、油门、起落架、襟翼的控制动作，然后通过XPC接口发送给X-Plane仿真环境；X-Plane仿真环境按照接收到的升级杆、副翼杆、方向舵、油门、起落架、襟翼的控制动作完成无人机飞行控制，并将执行完上述动作后无人机的状态通过XPC接口反馈给X-Plane Gym模块；X-Plane Gym模块根据收到的无人机状态信息，计算出当前动作的奖励，并通过GYM标准接口将状态与奖励信息发送给系统控制模块；系统控制模块根据收到的状态与奖励保存到数据存储模块；数据存储模块收到数据后完成数据的收集与存储；

整个系统在系统控制模块的控制下重复上述过程，当数据存储模块中的数据积累到可以训练强化学习算法模块需要的批量数据后，系统控制模块从数据存储模块批量抽取数据，然后用抽取的数据训练强化学习算法模块中的算法。

进一步的，无人机仿真训练模块包括基于X-Plane软件的无人机仿真训练模块；

通过X-Plane软件提供的二次开发接口，将强化学习算法输出飞机的连续动作向量，转化为飞机的状态向量。

进一步的，通过X-Plane Gym模块的通信接口完成系统控制模块与X-Plane软件的信息交互，通信接口在工作时包括以下操作：网络端口配置、控制和获取飞机动作、获取和设置飞机状态。

进一步的，X-Plane Gym模块结合OpenAI Gym的二次开发接口，实现对无人机仿真环境的环境复位、获取状态、关闭环境操作。

进一步的，X-Plane Gym模块根据不同的任务设计奖励函数，通过奖励函数完成对无人机执行动作的评价。