[发明专利]基于最大熵的演员-评论家框架的AUV运动规划方法

说明书

本发明公开了基于最大熵的演员‑评论家框架的AUV运动规划方法，包括以下步骤：S1：构建AUV操纵性模型；S2：确定AUV的状态空间与动作空间；S3：基于MDP决策过程，提出基于最大熵的强化学习算法，构建神经网络结构，搭建AUV运动规划系统；S4：设置一个综合的奖励函数来评估AUV决策的优劣，指导AUV完成运动规划任务的目标：在躲避障碍物到达目标点的同时，航行路程及所用时间达到最优；S5：通过自交互训练获得最优策略，保存训练好的神经网络参数，将最优策略对应的具体指令传递给下位机，最终实现感知‑规划‑控制的运动规划过程；本发明能够发现到达目标位置的多种策略，在应对各种突发态势时有较好的鲁棒性，且能在多约束的条件下顺利完成指定任务。

技术领域

本发明涉及水下机器人的运动规划领域，特别是一种基于最大熵的演员-评论家框架的AUV运动规划方法。

背景技术

伴随着人工智能技术在近现代的不断发展，自主水下机器人(AutonomousUnderwater Vehicle，AUV)凭借其灵活性在海床测绘、海洋监测、水底结构物勘察、收集情报、水下排雷等方面扮演着重要的角色。运动规划技术是AUV能够自主航行、完成各类任务的基础。

AUV运动规划是以全局路径规划为指导，利用传感设备在线得到的局部环境信息，通过控制水下机器人执行机构的输出力(矩)，从而规划出机器人运动过程中的位置、速度及加速度。AUV运动规划作为一个多目标的优化问题，通常来说需要满足两个条件：(1)完整性：在AUV满足各类约束条件时，能够成功规划出一条无碰撞且能到达目标点的路线。(2)最优性：在完成基本的规划任务的同时，使系统规划的路线最短、所用时间最少或是耗能最低，在某些情况下需要指标中的一个或多个达到最优。由于海洋环境的不确定性以及AUV自身的系统动力学约束，加之避障声呐等传感器设备对海洋环境感知的局限性，AUV在航行中运动规划成为十分困难的问题，它不仅关系到远程AUV是否能顺利完成作业使命，还直接关系到AUV自身的安全。

强化学习(Reinforcement Learning，RL)技术在AUV运动规划研究中的应用，可以充分发挥强化学习在无样本学习中的优势。通过自交互训练，可以生成一系列考虑长期影响的决策序列，可以大大提高AUV的鲁棒性和对复杂环境的适应性。

发明内容

为解决现有技术中存在的问题，本发明提供了基于最大熵的演员-评论家框架的AUV运动规划方法，本发明能够发现到达目标位置的多种策略，在应对各种突发态势时有较好的鲁棒性，且能在多约束的条件下顺利完成指定任务。

本发明提供了基于最大熵的演员-评论家框架的AUV运动规划方法，包括以下步骤：

S1：考虑系统的动力学约束，构建AUV操纵性模型；

S2：将运动规划问题公式化，确定AUV的状态空间与动作空间；

S3：基于MDP决策过程，提出基于最大熵的强化学习算法，构建神经网络结构，搭建AUV运动规划系统；

S4：设置一个综合的奖励函数来评估AUV决策的优劣，指导AUV完成运动规划任务的目标：在躲避障碍物到达目标点的同时，使得航行路程及所用时间达到最优；

S5：通过自交互训练获得最优策略，保存训练好的神经网络参数，将最优策略对应的具体指令传递给下位机，最终实现感知-规划-控制的运动规划过程。

优选地，S1的模型为：

其中，R(ψ)是AUV水平运动的三自由度坐标转换矩阵

C(v)代表科氏向心力矩阵，D(v)为AUV所受的水动力阻力矩阵，τ表示控制输入，以欠驱动类型的AUV为例，系统输入数目小于运动自由度数，只需要输出纵向推力与偏航力矩，即：