[发明专利]一种基于强化学习与线性规划的快速空管防冲突方法

说明书

本发明公开了一种基于强化学习与线性规划的快速空管防冲突方法，该方法包括以下步骤：步骤一，设置扇区内外飞机的数量，并获取飞机的位置信息；步骤二，获取飞机的动态参数并做规则化处理，利用这些参数构建飞机深度强化学习模型；步骤三，使用DDPG算法训练该神经网络，用线性规划优化输出的偏转角；步骤四，将飞机的位置信息作为神经网络的输入，得到控制飞机的偏转角；步骤五，控制飞机按偏转后的角度飞行，并判断该飞机能否进行偏转，若是则偏转到达目的地，否则继续更新位置信息。本发明通过线性规划优化神经网络输出的偏转角，加快了收敛速度且具有较好的鲁棒性。

技术领域

本发明涉及空中交通管理领域，具体而言，特别涉及一种基于强化学习与线性规划的快速空管防冲突方法。

背景技术

近年来，随着空中交通领域的快速发展，空中交通流量与日俱增与有限的空域资源矛盾日益突出。为此美国联邦航空管理局提出了自由飞行，自由飞行是未来空中交通发展的必然模式，为了保证自由飞行的安全性，当飞机由一个扇区飞往另一个扇区时必须设计出摆脱飞行冲突的最优策略，避免与扇区内的飞机发生冲突。现有的一些算法已经能够生成最优解或次优解，但这些最优解或次优解并不能满足空中交通实时性的要求。基于实时性和安全性的考虑，本发明提出了一种基于强化学习与线性规划的快速空管防冲突方法，该方法能够迅速地规划出安全路径，大大减轻空管员的压力，满足实时性和安全性。

发明内容

本发明的目的在于，为了解决现有的方案效率不够高的问题，提出了一种基于强化学习与线性规划的快速空管防冲突方法，能够更好更快的完成安全路径的规划，大大减轻空管员的压力。

本发明所提供的技术方案为

一种基于强化学习与线性规划的快速空管防冲突方法，包括以下步骤：

步骤一，设置扇区内外飞机的数量，并对所有的飞机进行编号，获取所有飞机在开始时刻的坐标以及朝向角；

步骤二，获取所有飞机的动态参数并将其中的一些参数做规则化处理，利用这些参数来构建飞机深度强化学习模型，将所有飞机的坐标和朝向角作为该深度强化学习模型的输入，控制飞机的偏转角作为该深度强化学习模型的输出；

步骤三，使用DDPG算法训练该深度强化学习模型，在训练过程中利用线性规划对神经网络的输出进行选择，优化输出结果，最后经过海量的训练得到训练好的深度神经网络；

步骤四，将所有飞机的坐标和朝向角作为训练好的深度神经网络的输入，得到控制飞机的偏转角度；

步骤五，根据步骤四中所得偏转角，控制飞机按照偏转后的方向继续飞行，更新当前时刻控制飞机的坐标以及朝向角，根据当前时刻所有飞机的坐标和朝向角，判断控制飞机是否可以进行第二次偏转，如果可以进行第二次偏转则偏转到达目的地，否则继续更新飞机的坐标及朝向角；

进一步地，所述步骤一中，扇区内外的飞机数量可根据实际情况设置，控制飞机是在扇区外，剩余飞机在扇区内，并对扇区内外的飞机进行编号。

进一步地，所述步骤二中，根据飞机的飞行速度、飞机的最大偏转角和最小偏转角以及飞机的数量，获取飞机速度的约束集和偏转方向的约束集。将每架飞机的信息规则化为一个二元组，该二元组包含的信息为：飞机编号、飞机状态；其中飞机状态又分为飞机的坐标和朝向角。搭建DDPG算法中两对结构相同但参数不同的神经网络：策略网络以及它的目标网络，价值网络以及它的目标网络。策略网络用于计算当前状态s下所采用的动作a，动作a表示为控制飞机偏转的角度，价值网络是用来计算在状态s下采取动作a的Q值，并用这个Q值来更新策略网络的参数；神经网络的输入层为飞机的坐标信息以及朝向角，即，其中分别为飞机在二维坐标系中的坐标及朝向角，n为扇区内外飞机的数量；神经网络的输出为当前状态s下所采用的动作a；飞机的偏转角度，其中分别为飞机偏转角度的最小值与最大值。

进一步地，所述步骤三中，对神经网络输出的优化应当满足以下八个条件之一：