[发明专利]一种基于强化学习的多AUV协同导航方法

权利要求书

1.一种基于强化学习的多AUV协同导航方法，其特征在于：包括以下步骤：

步骤1：在离线状态下，针对单主多从的多AUV协同导航需求，主AUV利用预先规划好的各个从AUV轨迹，通过Q-learning方法学习得到对应各个从AUV的动作价值函数Q：

步骤2：在离线状态下，根据步骤1学习得到的对应每一个从AUV的动作价值函数，主AUV针对导航过程中的各个子阶段选取最优的动作进行执行，得到最优轨迹；

步骤3：在实际导航过程中，主AUV根据步骤2得到的最优轨迹，从AUV依据预先规划好的轨迹，并利用各自的导航设备进行导航计算，实现单主多从的多AUV协同导航。

2.根据权利要求1所述一种基于强化学习的多AUV协同导航方法，其特征在于：步骤1中，通过Q-learning方法学习得到对应各个从AUV的动作价值函数Q的过程为：

初始化N个动作价值函数Q为全0矩阵，N为从AUV的个数，给定迭代学习最大次数，然后对于每个从AUV，均采用以下迭代学习过程，得到对应的动作价值函数Q；对于第i个从AUV，具体步骤包括：

步骤1.1：针对主AUV，使用∈-贪心法从动作集合A中选取一个动作a，所述动作集合A为主AUV的动作集合，根据主AUV的最大航行角速度ω_max和最小航行角速度ω_min确定动作集合的取值：A∈{ω_min,...,ω_max}；

步骤1.2：在当前状态s下，主AUV执行动作a，并根据AUV运动学方程更新主AUV位置，得到奖励R和新的状态s'，计算本次动作的回报值：

R_k+1＝-(C_k+1+P_k+1)

k时刻对应状态s，k+1时刻对应状态s'，其中，C_k+1为状态s'下，由于主从AUV的相对方位角度变化产生的代价值，P_k+1为状态s'下，由于主从AUV相对距离产生的惩罚值；状态s以及状态s'为状态集合Sⁱ中的元素，状态集合Sⁱ为第i个从AUV的状态集合Sⁱ＝{θⁱ,Dⁱ}，θⁱ为第i个从AUV与主AUV之间的相对方位角，Dⁱ为k时刻第i个从AUV与主AUV之间的相对距离；

步骤1.3：按照下面的式子更新对应的动作价值函数Qⁱ：

其中，γ为衰减因子，α为设定的学习步长，Qⁱ(s,a)为更新前的动作价值函数Qⁱ在状态s和动作a下的评价值，a^*为在动作集合A中得到的、且使更新前的动作价值函数Qⁱ在状态s'下取得最大值的动作，为更新前的动作价值函数Qⁱ在状态s'和动作a^*下的评价值；

步骤1.4：更新状态s←s'，然后返回步骤1.1直至达到最大迭代次数，得到对应当前第i个从AUV的动作价值矩阵Qⁱ。

3.根据权利要求2所述一种基于强化学习的多AUV协同导航方法，其特征在于：步骤1.1中，∈-贪心法具体为：以1-∈的概率从动作集合中选取最优动作进行执行，而用∈的概率随机在动作集合中选择一个动作进行执行，∈称为探索率。

4.根据权利要求2所述一种基于强化学习的多AUV协同导航方法，其特征在于：状态s'下，由于主从AUV的相对方位角度变化产生的代价值C_k+1具体为：

式中γ_k+1＝|θ_k-θ_k+1|为状态s与状态s'下的相对方向角之差的绝对值，ξ为误差传播增长因子，ε₀与水声测量设备的精度相关的参数。