[发明专利]一种基于增强学习智能算法的航海船舶运动控制方法

摘要

本发明公开了一种基于增强学习智能算法的航海船舶运动控制方法，包括：利用多模态传感器采集船舶的各类重要数据；对获取的数据信息进行滤波及融合处理，得到满足精度要求的各种状态数据，包括：船舶的姿态信息，船舶实际位置、船舶速度、海面风速、洋流速度等；通过评估函数对实际状态数据进行评估，得到当前时刻的奖赏值；通过增强学习智能算法不断的学习，最终得到在不同的环境状态条件下船舶的运动控制规律。本发明船舶运动控制方法，是不依赖于环境模型的一种优化算法，相比较传统的运动控制算法，控制更加灵活，并且可以在使用中持续优化学习。

主权项

1.一种基于增强学习智能算法的航海船舶运动控制方法，其特征在于，包括如下步骤：S1船舶上安装多模态传感器，周期性采集当前t时刻的传感器数据信息；S2对传感器数据信息，进行滤波及归一化处理，归一化后处理后的环境状态信息为：式中，c_t为当前t时刻的船舶姿态信息，p_t为当前t时刻的船舶实际位置信息，为当前t时刻的船舶速度信息，为当前t时刻的海面风速信息，为当前t时刻的洋流速度信息，σ_t为其他多模态传感器的数据；S3根据动作‑状态值函数Q(St,a|θ)得到当前时刻t的运动控制动作at；S4执行S3得到的动作a_t，得到t+1时刻的状态数据信息S5通过评估函数对t+1时刻状态数据进行评估，得到当前时刻的奖赏值：Rt+1＝f(St+1)式中，函数f是自定义的评价函数；S6通过最小化损失函数L(θ)来更新网络参数θ：其中γ为折扣因子；S7循环迭代上述步骤，直到网络参数θ达到收敛，即网络参数达到稳定，终止。