[发明专利]一种基于Q学习的水下机器人避障控制方法

说明书

本发明公开了一种基于Q学习的水下机器人避障控制方法，属于水下机器人控制领域，主要包括以下步骤：根据安装在水下机器人周围的声呐装置建立当前环境；设定水下机器人安全警戒距离，目标阈值范围，采用定位技术实时确定水下机器人的位置；创建动作空间，神经网络，初始化动作奖罚，状态空间，迭代值；设置奖罚机制并根据奖罚函数对每个动作进行选取，通过迭代Q函数使其达到收敛要求来逼近目标；采用神经网络逼近提高效率，利用梯度下降法进行迭代。本发明具有提高水下机器人反应能力，学习能力，数据利用率高，缩小误差等优点。

技术领域

本发明属于水下机器人控制技术领域，尤其是一种面对水下障碍物进行及时躲避的最优控制，具体的是一种基于Q学习的水下机器人避障控制方法。

背景技术

海洋约占地表的71％，将会成为人类新的探索空间。水下机器人通过特定的传感器感知障碍物，进行规避。然而海洋环境特性十分复杂，如礁石，珊瑚，海沟甚至海洋突发情况(迅速聚集的鱼群)，因此在探索时，水下机器人顺利躲避障碍物显得尤为重要。

从现有技术中检索发现，公开号为CN107121985A的专利申请公开了一种水下智能机器人的雷达避障系统，该方案以雷达收发器为主要载体，结合单片机的定时器以完成对障碍物的有效避障。该方法尽管能完成水下机器人的避障工作，但雷达传播方式主要为电磁波，而电磁波在水下传播会很快的衰减，接收到的信号变弱，就会造成规避不及时进而导致机器人发生碰撞。

再有，公开号为CN108829134A的专利申请公开了一种深海机器人实时自主避障方法，该发明使用几何球体对不规则障碍物进行建模，将障碍物投影到水平和垂直面上，采用切线法对障碍物影响的航向不可行区域进行分析，获得无人水下航行器航行的航向不可行集合；通过对无人水下航行器的运动特性进行分析，获得无人水下航行器的艏向窗口和线速度窗口；通过构建最优导航角度优化函数搜索出最优导航角度，并根据障碍物的分布以及偏航角度的大小构建导航线速度模型；最后将导航角度和导航线速度输出到无人水下航行器运动控制模块，引导无人水下航行器实现三维环境中的实时避障。但上述方法分析计算复杂耗时，且不能应对海底突发情况如随处游动的鱼群。因此，有必要设计一种考虑及时性和适应性强的水下机器人避障控制方法，一方面对海底突发情况能够进行及时的规避，另一方面能够适应各种复杂海底情况。

发明内容

本发明的目的是提供提供一种规避及时、适应性强、应用广泛的水下机器人避障控制方法。

为了实现上述目的，本发明采用的技术方案是：

一种基于Q学习的水下机器人避障控制方法，该方法包括以下步骤：

步骤1，通过安装在水下机器人声呐接收装置的信号建立机器人所处的当前环境；水下机器人采用的动力学模型为

其中M表示惯性矩阵，C表示科氏力矩阵，D表示阻尼矩阵，G表示重力矩阵，τ为控制输入，v为控制输出；

水下机器人共有6个自由度，假设在第n个自由度上，机器人与障碍物的距离为x_n，水下机器人设定的安全警戒距离为d，水下机器人若在第n个自由度上有x_nd，则表示水下机器人可能发生碰撞，同时在该自由度上采取相应的规避动作；

步骤2，利用定位技术确定每一时刻水下机器人的位置D_i，其中i表示第i时刻，比较该时刻水下机器人与目标点的距离D_i和上一时刻水下机器人与目标点的距离D_i-1，若D_iD_i-1，表示机器人正在远离目标点，若D_iD_i-1，表示机器人正在靠近目标点，并计算当前时刻水下机器人与目标点的距离D，考虑水下存在波动，设置目标点阈值d0，若Dd0，则表示水下机器人已到达目标点；根据水下机器人的自由度建立动作空间A；