[发明专利]一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法

权利要求书

1.一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法，其特征在于，包括以下步骤：

基于水下机器人的运动学模型和动力学模型，利用反步法建立速度控制器和艏向控制器；

其中，k_u、均为正数，为待设计的控制参数；τ_u为推进器纵向推力；τ_r为转艏力矩；x、y、z水下机器人坐标系三个轴的位置，θ、ψ分别为横滚角、俯仰角、航向角；u、v、w分别为纵向线速度、横向线速度、垂直线速度，p、q、r分别为横倾角速度、纵倾角速度、偏航角速度；|·|表示绝对值，X_u、X_u|u|、Y_v、Y_vv、N_r、N_r|r|均为无量纲水动力系数，I_z水下机器人绕运动坐标系z轴的转动惯量，m水下机器人的质量；u_d为速度的期望值；z₁＝ψ_d-ψ、z₂＝α-r为艏向偏差，其中ψ_d为艏向的期望值，α为中间虚拟控制量；

并利用Q学习对反步法的控制参数进行优化调整：

对于速度控制器，其输入的状态向量为S_u＝{s_1u,s_2u}；s_1u、s_2u分别为e_u、对应的空间转换的转换值；Q学习的输出量是速度控制器的参数k′_u，k′_u是需要进行划分的动作空间，从而建立速度控制器的Q值表；

对于艏向控制器，输入的状态向量为分别为对应的空间转换的转换值；为纵向速度u对应的空间转换的转换值；Q学习的输出量是艏向控制器的两个控制参数和和是需要进行划分的动作空间，从而建立艏向控制器的Q值表；

Q学习的速度控制器的输入是速度的偏差和速度的偏差变化率，经过Q学习算法，输出的是速度控制器的调整参数k′_u；同样，Q学习的艏向控制器中，输入为偏航角的偏差、偏航角的偏差变化率以及水下机器人的实时速度，经过Q学习算法，最终输出的是艏向控制器的两个调整参数和

然后，依据k′_u、和确定k_u、

k_u＝k_u0+k′_u

其中，和是艏向控制器的两个参数的初始值；

将控制参数k_u、的值代入速度控制器和艏向控制器，实现水下机器人的控制。