[发明专利]基于D3QN的无人船自适应路径规划方法、设备及存储介质

说明书

本发明属于无人船路径规划领域，通过学习的方式使无人船进行自适应的路径规划。主要包括：构建无人船模型，将无人船放在仿真环境下航行；无人船按照行为空间的行为随机探索；通过无人船的深度相机获取环境图像信息，通过定位系统获取无人船位置信息，将探索得到的数据存放到优先经验回放池；将回放池的数据提取进行D3QN网络的训练；将训练好的网络模型加载到实际无人船中，进行真实环境路径规划。本发明可以在不需要先验信息的情况下，使路径规划精度高，碰撞率小，无人船的自适应能力强。

技术领域

本发明涉及无人船路径规划技术领域，尤其涉及一种基于D3QN的无人船自适应路径规划方法、设备及存储介质。

背景技术

随着人工智能时代的兴起，无人船技术得到广泛的发展。我国存在着很多海洋环境恶劣的区域，而国内的无人船对环境的自适应能力又较差，又存在各种外界干扰因素，使得国内的无人船技术还远远没有达到预期的要求，迫切的需要一种自适应能力强的，能够应对突发情况的路径规划算法来突破当前的瓶颈。

传统的无人船路径规划方法的设计原则是根据先验的地图，来规划出一条最优化的无障碍路径，无人船只用遵从算法的指令形式，一旦环境发生变化则算法不能给出最佳的指引。传统的方法在简单的环境中能够有较高的稳定性。但是在未来的研究中，人类会探测越来越复杂的深海，其中将会存在复杂的动静态障碍物和险恶的环境，环境会突然发生变化，在没有预先的探测地图情况下，无人船只有拥有自适应的自主决策系统，才能适应环境的变化。

为了提高无人船的自适应能力，这就需要无人船控制系统对无人船的空间信息和周围环境的状态具有良好的认知能力和辨识能力。根据目前已有的文献研究，如遗传算法、蚁群算法和A*算法，虽然能够得到收敛，在简单环境下得到较好效果，但是在遇到突发情况时，没有能够及时处理的自适应能力，在强干扰情况下，会大大影响路径规划效果，甚至发生碰撞，产生严重后果。

发明内容

本发明要解决的问题是，克服现有技术的不足，当发生突发状况时，路径规划算法能够进行及时的处理，具有良好的自适应能力。提出一种基于D3QN的无人船自适应路径规划方法，使无人船能及时避碰，安全系数高。

为了实现上述目的，本发明提供的基于D3QN的无人船自适应路径规划方法，包括以下步骤：

S1、构建无人船模型和水下仿真环境，设计D3QN网络，将所述无人船模型放在所述水下仿真环境下自主航行；

S2、从当前状态S根据ε-贪婪算法选择行为A；

S3、根据所述行为A采用PID位置和速度误差控制算法使无人船到达下一个状态S’，获取下一个状态S’处与障碍物之间的第一位置关系，并获取下一个状态S’处与终点之间的第二位置关系，根据所述第一位置关系和所述第二位置关系利用奖惩机制得到回报R；

S4、获取当前状态S的环境信息和位置信息，合并为当前状态数据s，获取下一个状态S’的环境信息和位置信息，合并为下一个状态数据s’，将当前状态数据s、行为A、下一个状态数据s’和回报R以数组D的形式存放到优先经验回放池中，并通过TD-error(用时序差分法计算得到的当前状态函数值与目标值函数的差值)计算得到优先经验回放池中数组D的采样概率；

S5、根据所述采样概率将所述经验回放池中的数组D提取到D3QN网络，进行D3QN网络的梯度下降误差训练，并判断是否满足终止条件，若满足，获得训练的无人船自适应路径规划模型，并执行步骤S6，否则，将下一个状态S’作为当前状态S，返回步骤S2；

S6、将所述训练的无人船自适应路径规划模型导入到无人船路径规划系统，进行真实环境的无人船路径规划，并获得无人船路径。

进一步地，所述构建无人船模型和水下仿真环境，设计D3QN网络的步骤包括：

通过ROS和Gazebo搭建所述无人船模型和所述水下仿真环境；