[发明专利]一种基于深度强化学习的水下自主航行器动态避障方法

说明书

一种基于深度强化学习的水下自主航行器动态避障方法，涉及水下机器人避障技术领域。本发明是为了解决目前缺乏水下自主航行器对动态障碍物的避障研究的问题。本发明建立水下自主航行器模型与运动学模型，获取周围障碍物的信息；采集水下自主航行器周围机动障碍物的运动状态信息，并构造动态障碍物状态方程；根据动态障碍物状态方程预测动态障碍物运动学模型；根据水下自主航行器周围障碍物的信息和动态障碍物运动学模型，融合多动态障碍物避障法生成避障策略并转化为MDP模型；结合确定性深度策略梯度算法对MDP模型进行训练，直至水下自主航行器能够无碰撞的到达目标区域；利用训练好的MDP模型引导水下自主航行器航行。

技术领域

本发明属于水下机器人避障技术领域。

背景技术

近年来，伴随着海洋开发、海洋军事应用的需要，新材料、新能源和人工智能等技术的不断进步，各国的海洋大国都加快了对水下自主航行器(autonomous underwatervehicle，AUV)的研究步伐并取得重要进展。与载人水下航行器相比，AUV凭借着机动性强、作用域广、无人员伤亡风险、适应能力与生存能力高、制造与维护成本低等优势得到了各国学者的重点关注。并且水下自主航行器已不仅限于海洋环境使用，如今逐渐应用于各种水域，如航道水域、输水隧洞、港口水域等，成为对水下世界的探索、水下环境探测和水下救援等的关键性设备。

水下环境复杂多变，当水下自主航行器到达水下航行时，水下自主航行器面临着大大小小的障碍物，有静止的也有运动的，它们严重威胁着水下自主航行器的运行安全。目前大多数的研究者在水下自主航行器的静态障碍物避障方面也取得了大大小小的进展，但是对于动态障碍物的避障研究很少开展。在水下有各种动态障碍物，如水下漂浮物、航行船只等，水下自主航行器必须具备很高的自主避障能力才能完成指定任务，安全返航。因此水下自主航行器在有多个动态障碍物环境中自主避障研究是水下自主航行器领域重要技术之一。

发明内容

本发明是为了解决目前缺乏水下自主航行器对动态障碍物的避障研究的问题，现提供一种基于深度强化学习的水下自主航行器动态避障方法。

一种基于深度强化学习的水下自主航行器动态避障方法，包括以下步骤：

步骤一：建立水下自主航行器模型与运动学模型，从而获取水下自主航行器周围障碍物的信息；

步骤二：采集水下自主航行器周围机动障碍物的运动状态信息，并构造动态障碍物状态方程，所述运动状态信息包括：运动状态向量、状态转移矩阵、过程噪声和输入控制矩阵；

步骤三：利用概率数据关联的粒子滤波方法根据动态障碍物状态方程预测动态障碍物运动学模型；

步骤四：根据步骤一获得的水下自主航行器周围障碍物的信息和步骤三获得的动态障碍物运动学模型，在笛卡尔坐标系下建立多动态障碍物的在线训练环境，并融合多动态障碍物避障法生成避障策略；

步骤五：将步骤四生成的避障策略转化为MDP模型，并建立水下自主航行器面对多个动态障碍物时MDP模型的状态集和动作集；

步骤六：将状态集作为MDP模型的输入、动作集作为MDP模型的输出，结合确定性深度策略梯度算法对MDP模型进行训练，直至MDP模型下水下自主航行器能够无碰撞的到达目标区域；

步骤七：利用训练好的MDP模型引导水下自主航行器航行。

进一步的，步骤一所述水下自主航行器模型包括：一个尾推进器、两个侧推进器和7个避障声呐，水下自主航行器模型的测距声呐采样频率为2Hz、探测距离为150m～200m，随体坐标系下分布角度依次为：90°、60°、30°、0°、-30°、-60°、-90°；

运动学模型为水平面3自由度的运动学模型，其方程为：