[发明专利]一种航迹不确定性条件下的飞行冲突自主解脱方法

权利要求书

1.一种航迹不确定性条件下的飞行冲突自主解脱方法，其特征在于，具体步骤如下：假设航空器沿理想航迹飞行，航空器的理想航迹位置记为航空器的实际航迹存在不确定程度的偏移，其实际位置记为p；表示由于不确定性条件导致的航迹偏差记为r；则

首先，在地面搭建目标区域内的若干航空器飞行航迹的概率可达模型；利用各航空器的历史航迹数据拟合预测概率可达模型的参数，得到各航空器的航迹概率分布；

所述的概率可达模型如下：

subject to:

其中，是第j个航空器的可达范围参数，共n_s个航空器；是的凸函数，为行列式的对数；表示第j个航空器实际位置p的所有可能取值；

航空器实际位置的所有可能取值，表示为：

航空器的理想航迹位置记为航空器的实际航迹位置记为p；表示在三维直角坐标系，δ∈(0,1)表示违反概率；

所述拟合预测概率可达模型的参数，得到各航空器的航迹概率分布的具体过程为：

针对单个航空器，首先将该航空器的历史航迹数据根据航线进行划分，针对存在偏差的航迹进行采样，获取N个样本，以N个确实约束替代C-COP中的机会约束，进而得到航迹模型的近似解；

即将N个样本的确定性偏差约束替代原概率性约束使问题转化为凸优化问题；

最后，利用凸优化工具箱对所转化的凸优化问题进行求解；

然后，根据各航空器的航迹概率分布进行冲突判定，并构建航空器冲突解脱的自主决策模型；

所述的构建航空器冲突解脱的自主决策模型的具体过程为：

步骤301、针对第i架航空器，对目标区域内所有其他航空器广播自身状态矢量，并接收其他n-1架航空器的广播信息；

n为空域中航空器的架数；

第i架航空器广播的自身状态矢量

vⁱ为第i架航空器的飞行速度，为第i架航空器的航向角，aⁱ为第i架航空器在时间窗内的起始三维航迹点，dⁱ为第i架航空器在时间窗内的目标航迹点，为第i架航空器的概率可达集形状参数；

第i架航空器接收的广播信息为：Vⁱ＝[I¹,...,I^i-1,Iⁱ⁺¹,...,Iⁿ]；

步骤302、第i架航空器利用其他航空器的广播信息，判定自身是否与其他航空器存在冲突；

当下式成立时，两个航空器i和j存在冲突：

其中，表示两个航空器的椭球预测航迹之间的距离，d_min为最小安全间隔，取值根据实际人为设定；

步骤303、当第i架航空器识别到飞行冲突风险后，在航迹的时间窗范围内选择搜索一个中间的改航点cⁱ，使得重新规划后的航迹与周边航空器之间无冲突；

利用深度确定性梯度网络，通过指明搜索方向，搜索得到改航点cⁱ，cⁱ的所有可能取值组成第i架航空器的动作空间；cⁱ需满足以下约束条件：

v_min为速度下界取值；v_max为速度上界取值；代表航空器在起始航路点aⁱ的时刻、代表航空器在中间航路点cⁱ的时刻、代表航空器在目标航路点dⁱ的时刻；

步骤304、同理，遍历目标空域内的n架航空器，重复步骤301-303执行相应的解脱行为，生成n个中间改航点；

中间改航点的集合A＝[c¹,c²,...,cⁱ,...,cⁿ]；

步骤305、利用奖励函数评估航空器选择了n个改航点组成的解，相比上一次解脱行为对于冲突状态的改善质量；

奖励函数计算公式为：

A_c表示奖励与惩罚的超参数，是航空器执行一次中间动作后，与其他航空器之间椭球可达集距离相对于上一状态的变化量的最小值；

上式表明，当获得奖励，反之，则得到惩罚；

在单次训练搜索中，航空器的改航点不满足航空器性能约束或者达到最大搜索次数时，其奖励函数设计为：

R_terminal＝-100

最终，当n个改航点使得空域内所有航空器均无冲突时达到成功终止条件，此时改航点的解的质量用奖励函数R表示：

V为航空器接收到的其他航空器意图信息；L_i为第i架航空器的原始航迹距离长度，L_i′为第i架航空器改航后新产生的航迹距离；为改航后第i架航空器的航迹偏离度；

步骤306、利用评估了质量后的n个改航点，搭建航空器冲突解脱的自主决策模型；

航空器冲突解脱的自主决策模型如下：

subject to:

其中，目标函数为各航空器之间的偏离最小；

最后，采用多智能体深度确定性策略梯度算法，对航空器冲突解脱的自主决策模型进行求解，得到在航迹不确定性条件下的n架航空器冲突时最优的改航点集合A。

2.如权利要求1所述的一种航迹不确定性条件下的飞行冲突自主解脱方法，其特征在于，所述的采用多智能体深度确定性策略梯度算法，对自主决策模型进行求解的过程为：

(1)将每架航空器看作一个智能体，并对每个智能体构建决策神经网络；

第i架航空器的神经网络参数为φ_i，智能体的策略为μ_i，则智能体的动作完全由其策略和对应的参数决定：

a_i＝μ_i(Rⁱ|φ_i)

其中，a_i为第i架航空器的改航点搜索方向，用坐标(dx,dy,dz)表示；Rⁱ表示第i架航空器的观测信息；络参数φ_i根据MADDPG的相关理论对模型进行训练获取；

(2)每个决策神经网络的输入为接收到的意图信息V，输出为建议的改航点寻找方向(dx,dy,dz)；

设每一次训练中，最大的迭代次数为k，则智能体给出的最终建议改航点为：

是原航线上的初始航路点，(dx₁,dy₁,dz₁)是第一次迭代寻优时智能体给出的改航点搜索方向，(dx₂,dy₂,dz₂)为第二次迭代给出的改航点搜索方向，以此类推；通过在搜索方向上的不断叠加，最终得到建议改航点c；

(3)当各个航空器的网络参数训练完成后，加载到航空器机载航电设备上，实现机载端的实时冲突解脱；

其应用阶段步骤如下：

a)航空器通过机载设备从地面或者周边航空器获取周边航空器的意图信息；

b)将意图信息输入到单机动作网络中，获得改航点搜索方向并不断迭代寻优，得到最佳改航点，航空器可以通过单次改航，即从起点a到达改航点c再达到终点d实现在空域内的冲突解脱；

c)航空器执行相应的冲突解脱机动，在规定时间内到达中间改航点，实现冲突解脱。