[发明专利]基于深度强化学习的固定翼无人机群避碰方法及装置

权利要求书

1.一种基于深度强化学习的固定翼无人机群避碰方法，其特征在于，步骤包括：

S1.模型训练：建立无人机运动学模型以及用于输出无人机控制指令的D3QN，并使用各僚机与环境交互过程中的历史交互数据更新所述D3QN的网络参数，训练形成D3QN模型，其中所述交互过程中，由各僚机分别获取自身及长机的状态信息构成当前僚机与长机之间的联合状态，根据获取的僚机自身及邻近僚机的状态进行态势评估以评估无人机间的碰撞风险，并构建得到以当前僚机为中心的局部地图；将所述联合状态、局部地图输入至所述D3QN模型得到各僚机的控制指令输出，并根据所述无人机运动学模型得到长机以及僚机的下一时刻状态；

S2.在线执行：各僚机分别实时获取自身及长机的状态信息构成当前僚机与长机之间联合状态，根据实时获取的僚机自身及邻近僚机的状态信息进行所述态势评估，实时构建得到以当前僚机为中心的局部地图；将实时构建的所述联合状态、局部地图输入至所述D3QN网络模型得到各僚机的控制指令输出，所述控制指令包括滚转角控制指令、速度控制指令；

所述进行态势评估的步骤包括：

确定无人机前部、尾部危险区域的几何形状以及对应的半径；

评估僚机危险区域内的碰撞风险：根据所述无人机前部危险区域的半径R_f、机间最小安全距离R_s以及位置p与僚机之间的距离评估单架僚机周围的位置p处的碰撞风险C_p；

由计算得到的单架僚机的所述碰撞风险C_p计算所有僚机的综合碰撞风险值C_s；

将计算得到的所述综合碰撞风险值C_s映射到灰度颜色空间，构建得到以当前僚机为中心的所述局部地图；

所述步骤S1中训练形成D3QN模型时，所述历史交互数据包括执行动作获取的回报值，具体按照下式计算回报值r：

其中，r_l表示跟随奖励，且满足：

表示碰撞惩罚且满足：

其中，参数d₁和d₂分别为以长机为中心的圆环的内半径和外半径；ρ表示当前僚机与长机之间的距离；D_j表示当前僚机与邻近僚机j之间的距离；ω是调整因子。

2.根据权利要求1所述的基于深度强化学习的固定翼无人机群避碰方法，其特征在于，所述僚机周围的位置p处的碰撞风险C_p具体按下式计算得到：

其中，D为位置p与僚机之间的距离。

3.根据权利要求1所述的基于深度强化学习的固定翼无人机群避碰方法，其特征在于，构建所述局部地图时，具体按照下式将所述综合碰撞风险值C_s映射到灰度颜色空间：

其中，G_max和G_min分别表示最大灰度值和最小灰度值；C_ma和C_min分别表示综合碰撞风险的最大值和最小值。

4.根据权利要求1所述的基于深度强化学习的固定翼无人机群避碰方法，其特征在于，所述步骤S1中构建D3QN时包括构建结构相同的D3QN主网络以及D3QN目标网络，所述D3QN主网络、D3QN目标网络均分别包括特征提取网络和竞争网络，所述特征提取网络包括1层全连接层FC1、卷积神经网络和1层合并层，所述全连接层用于处理当前僚机与长机之间的联合状态，所述卷积神经网络用于提取所述局部地图的特征向量，所述合并层用于融合所述全连接层的输出和所述卷积神经网络的输出，生成最终的系统联合状态的特征输出；

所述竞争网络包含全连接层FC2、全连接层FC3以及1层拆分层、1个分支结构、1层聚合层，所述拆分层将所述全连接层FC2、全连接层FC3的输出拆分为等同维度的两部分，分别用于评估状态值函数和动作优势函数；所述分支结构包括状态值函数分支、滚转动作优势函数分支以及速度动作优势函数分支，分别对应当前状态的值函数、当前状态下待选滚转动作的优势函数和待选速度动作的优势函数；所述聚合层将所述状态值函数分支输出分别与所述滚转动作优势函数分支输出、所述速度动作优势函数分支的输出聚合，生成滚转动作的Q值和速度动作的Q值。