[发明专利]基于深度强化学习的无人船路径跟随系统及方法

说明书

本发明公开了基于深度强化学习的无人船路径跟随系统，它的仿真平台构建模块用于构建无人船运动交互仿真平台；所述马尔科夫决策建模模块用于利用无人船运动控制任务进行马尔科夫决策过程建模；神经网络构建模块用于依据马尔科夫决策过程中的状态空间、动作空间和奖励函数，基于DDPG算法架构设计深度神经网络；策略模型构建模块在仿真平台上使用DDPG算法对深度神经网络进行训练，得到无人船路径跟随控制策略模型；路径跟随控制模块用于将无人船路径跟随控制策略模型结合视线制导算法实现无人船路径跟随控制。本发明将船舶运动模型与控制算法分离，简化了控制策略的设计过程，显著降低或消除了对船舶运动控制领域专业知识的依赖。

技术领域

本发明涉及无人船运动控制技术领域，具体地指一种基于深度强化学习的无人船路径跟随系统及方法。

背景技术

高度自主化、智能化的无人船是造船和航运产业发展的必然趋势。无人船以实现船舶无人化、智能化为目标，能有效提高设备及船舶运营的安全性、优化航行策略、降低运营成本。由此，无人船成为各个造船大国和海上强国发展的重点方向。路径跟随作为无人船运动控制的基本任务之一，是实现无人船自主智能航行的关键。

传统的无人船路径跟随方法建立在数学估计分析的基础上，通过数学分析与推导来确定控制器的参数，控制器的设计与参数整定过程都依赖较强的专业知识。目前，已经证明了基于数学估计分析的路径跟随方法的有效性能，但其本身具有较大的局限性，如计算复杂度高、可移植性差、受环境干扰影响较大。特别是在航行过程中易受到航行条件变化、环境干扰等因素的影响，表现出了较强的不确定性、非线性和时变性，很难建立精确的数学模型来表达船舶的变化状态，这给无人船路径跟随任务带来了极大的挑战。无人船在实时航行过程中需要适应航行条件的变化，及时调整控制策略，而传统的控制方法不能很好的处理不确定性问题，导致路径跟随效果较差。

发明内容

本发明的目的就是要提供一种基于深度强化学习的无人船路径跟随系统及方法，本发明将船舶运动模型与控制算法分离，简化了控制策略的设计过程，显著降低或消除了对船舶运动控制领域专业知识的依赖。

为实现此目的，本发明所设计的一种基于深度强化学习的无人船路径跟随系统，它包括仿真平台构建模块、马尔科夫决策建模模块、神经网络构建模块、策略模型构建模块和路径跟随控制模块；

所述仿真平台构建模块用于构建无人船运动交互仿真平台，并在无人船运动交互仿真平台中初始化无人船的目标路径和航行环境，根据无人船路径跟随的需求定义无人船运动控制任务；

所述马尔科夫决策建模模块用于利用无人船运动控制任务进行马尔科夫决策过程建模，马尔科夫决策过程用来描述无人船路径跟随控制的交互过程，根据船舶完成路径跟随任务所需要的信息确定马尔科夫决策过程的状态空间，根据船舶控制指令确定马尔科夫决策过程的动作空间，根据船舶控制的目标任务确定马尔科夫决策过程的奖励函数；

所述神经网络构建模块用于依据马尔科夫决策过程中的状态空间、动作空间和奖励函数，基于DDPG(deep deterministic policy gradient，深度确定性策略梯度算法)算法架构设计深度神经网络；

所述策略模型构建模块在仿真平台上使用DDPG算法对深度神经网络进行训练，得到无人船路径跟随控制策略模型；

所述路径跟随控制模块用于将无人船路径跟随控制策略模型结合视线制导算法实现无人船路径跟随控制。

深度强化学习具备自主学习、自适应能力强的特点，在导航、机器人控制、参数优化等领域得到了广泛的应用。同时，深度强化学习中端到端的学习方式显著降低或消除了对专业领域知识的依赖且在多个领域具有超越人类专业人员的良好表现，这为决策控制领域的研究提供了新的思路。基于深度强化学习的路径跟随方法需要构建一个用于交互学习的环境，可以是实际环境，也可以是仿真环境。实际环境存在风险大、周期长、费用高等问题，数值化的仿真方式不能直观反应船舶运动过程。

本发明的有益效果：