[发明专利]基于最大熵的演员-评论家框架的AUV运动规划方法

权利要求书

1.基于最大熵的演员-评论家框架的AUV运动规划方法，其特征在于，包括以下步骤：

S1：考虑系统的动力学约束，构建AUV操纵性模型；

S2：将运动规划问题公式化，确定AUV的状态空间与动作空间；

S3：基于MDP决策过程，提出基于最大熵的强化学习算法，构建神经网络结构，搭建AUV运动规划系统；

S4：设置一个综合的奖励函数来评估AUV决策的优劣，指导AUV完成运动规划任务的目标：在躲避障碍物到达目标点的同时，航行路程及所用时间达到最优；

其中，综合的奖励函数设置为

如果获得目标，则奖励为r₁，r₁表示获得正的奖励值；

如果当AUV碰撞到障碍物时，给予其负的奖励值r₂；

d_old代表上一时刻AUV与目标点的距离，d_new为当前时刻AUV与目标点的距离，AUV上一时刻与目标点的距离大于当前时刻，则意味着AUV在不断靠近目标点，给予其正向的奖励值；反之给予其负向的惩罚，k₁和k₂分别代表奖励值的权重；

k₃为奖励值权重，Angle(u,x_r)∈[0,π]为向量u与x_r的夹角，u与x_r具体含义与状态空间中的相同，当两个向量的夹角为时，奖励为正，且夹角为0时，即AUV的艏向指向目标点时，奖励最大，且随着u的增大而升高，这会鼓励AUV选择合适的速度与艏向角，尽快到达目标点；当夹角为时，奖励为负，即AUV远离目标点时系统将给予其惩罚；

如果向量u小于0，则奖励值为r₃；

S5：通过自交互训练获得最优策略，保存训练好的神经网络参数，将最优策略对应的具体指令传递给下位机，最终实现感知-规划-控制的运动规划过程；

所述S1的模型为：

其中，M表示惯性矩阵；

R(ψ)是AUV水平运动的三自由度坐标转换矩阵

C(v)代表科氏向心力矩阵，D(v)为AUV所受的水动力阻力矩阵；

欠驱动类型的AUV，该系统输入数目小于运动自由度数，只需要输出纵向推力与偏航力矩，即：

τ＝[τ_u 0 τ_r]。

2.根据权利要求1所述的基于最大熵的演员-评论家框架的AUV运动规划方法，其特征在于，所述S3包括以下子步骤：

S31：基于马尔可夫决策过程来搭建AUV运动规划系统；

S32：基于最大熵的演员-评论家即SAC的框架，提出强化学习的训练目标；

S33：构建系统的神经网络结构。

3.根据权利要求1所述的基于最大熵的演员-评论家框架的AUV运动规划方法，其特征在于，所述S5包括以下子步骤：

S51：基于以上AUV模型及提出的SAC算法，搭建仿真平台；

S52：在训练达到收敛后，保存训练好的神经网络参数，将具体的控制指令传递给下位机来指导AUV的实际航行过程。