[发明专利]一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法

说明书

一种基于Q‑learning参数自适应技术的水下机器人反步速度和艏向控制方法，属于机器人控制技术领域。为了解决现有的水下机器人的控制方法存在需要先验知识的问题，以及控制器参数不能实时调整的问题。本发明设计了基于Q学习算法的参数自适应反步速度和艏向控制器，将偏差和偏差变化率作为该Q学习的输入，输出调整参数，根据调整参数确定的控制参数，结合控制参数和反步法设计的控制器实现速度和艏向控制，主要用于水下机器人速度和艏向的控制。

技术领域

本发明涉及水下机器人速度和艏向控制方法。属于机器人控制技术领域。

背景技术

运动控制系统作为水下机器人完成各种预期任务和水下作业的前提与保障，正受到越来越多研究人员的重视与关注。水下机器人作为一种复杂的非线性系统，其模型具有不确定和时变特性，且在复杂多变的海洋中运动时，易受到风浪流等外界环境的干扰，进而对其运动控制性能造成较大影响。因此，对于事先设计好的控制器来说，其控制参数的选取必然存在可以改进的空间。

目前，对于控制器参数的自动优化问题，有很多将神经网络、模糊控制以及进化算法与传统控制相结合的算法，并且都具备了一定的自适应能力，但仍有着显著的缺点，比如神经网络自适应控制需要大量的导师信号，在实际应用过程中，导师信号难以获取；模糊自适应控制需要专家的先验知识，不利于大范围推广使用，而遗传算法不能在线进行学习，无法对控制器参数进行实时调整。

发明内容

本发明是为了解决现有的水下机器人的控制方法存在需要先验知识的问题，以及控制器参数不能实时调整的问题。

一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法，其特征在于，包括以下步骤：

基于水下机器人的运动学模型和动力学模型，利用反步法建立速度控制器和艏向控制器；

其中，k_u、均为正数，为待设计的控制参数；τ_u为推进器纵向推力；τ_r为转艏力矩；x、y、z水下机器人坐标系三个轴的位置，θ、ψ分别为横滚角、俯仰角、航向角；u、v、w分别为纵向线速度、横向线速度、垂直线速度，p、q、r分别为横倾角速度、纵倾角速度、偏航角速度；|·|表示绝对值，X_u、X_u|u|、Y_v、Y_v|v|、N_r、N_r|r|均为无量纲水动力系数，I_z水下机器人绕运动坐标系z轴的转动惯量，m水下机器人的质量；

并利用Q学习对反步法的控制参数进行优化调整：

对于速度控制器，其输入的状态向量为S_u＝{s_1u,s_2u}；s_1u、s_2u分别为e_u、对应的空间转换的转换值；Q学习的输出量是速度控制器的参数k′_u，k′_u是需要进行划分的动作空间，从而建立速度控制器的Q值表；

对于艏向控制器，输入的状态向量为分别为对应的空间转换的转换值；为纵向速度u对应的空间转换的转换值；Q学习的的输出量是艏向控制器的两个控制参数和和是需要进行划分的动作空间，从而建立艏向控制器的Q值表；

Q学习的速度控制器的输入是速度的偏差和速度的偏差变化率，经过Q学习算法，输出的是速度控制器的调整参数k′_u；同样，Q学习的艏向控制器中，输入为偏航角的偏差、偏航角的偏差变化率以及水下机器人的实时速度，经过Q学习算法，最终输出的是艏向控制器的两个调整参数和

然后，依据k′_u、和确定k_u、