[发明专利]基于Q学习神经网络的无人船路径规划方法

说明书

本发明公开了种基于Q学习神经网络的无人船路径规划方法，包括以下步骤：a)、初始化存储区D；b)、初始化Q网络，状态、动作初始值；c)、随机设定训练目标；d)、随机选择动作a_t，得到当前奖励r_t，下一时刻状态s_t+1，将(s_t,a_t,r_t,s_t+1)存到存储区D中；e)、从存储区D中随机采样一批数据进行训练，即一批(s_t,a_t,r_t,s_t+1)，当USV达到目标位置，或超过每轮最大时间时的状态都认为是最终状态；f)、如果s_t+1不是最终状态，则返回步骤d，若s_t+1是最终状态，则更新Q网络参数，并返回步骤d，重复n轮后算法结束；g)、设定目标，用训练后的Q网络进行路径规划，直到USV到达目标位置。本发明决策时间短、路线更优化，能够满足在线规划的实时性要求。

技术领域

本发明属于无人驾驶船智能控制领域，具体是涉及一种基于Q学习神经网络的无人 船路径规划方法。

背景技术

水质监测是水质评价和预防水污染的主要方法。随着工业废水的增多，水体污染的 问题日益严重化，水污染动态监测的需求刻不容缓。但是因为传统的水质监测方法步骤繁多、耗时长，但获取到的数据多样性、准确性远远不满足决策的需求。根据上述问题， 多种水质监测方法被提出，如曹立杰等人提出通过建立传感器网络，得到较为精准的水 质反演模型。田野等人提出通过水质模型对卫星数据进行反演，得到监测水域的水质参 数分布图。但是以上方法无法灵活地更换监测水域，且工程量大、步骤繁多，相较而言 水质监测无人船体积小便于携带、监测领域不受地形影响，能连续性原位进行多项水质 参数监测，使监测结果更具有多样性和准确性。

无人驾驶船(Unmanned Surface Vehicle，USV)是一种能够在未知水域环境下自主 航行，并完成各种任务的水面运动平台，因被应用领域广泛，研究内容涉及自动驾驶、自主避障、航行规划和模式识别等多方面。它不仅可以被用于军事领域的扫雷、侦察和 反潜作战等方面，还可以用于民用领域的水文气象探测、环境监测和水上搜救等方面。 但由于水的流动性，可以流经多种复杂地形，工作人员无法探测，如水流经洞穴时等； 或又由于天气的多变，如水域长期处于多雾天气，使工作人员视线受阻，无法准确对 USV实时操作，可以利用USV的自主航行到达目标水位进行检测，而自主航行功能通 过路径规划技术加以实现。

USV路径规划技术是指USV在作业水域内，按照一定性能指标(如路程最短、时 间最短等)搜索得到一条从起点到目标点的无碰路径，是USV导航技术中核心组成部 分，更是代表着USV智能化水平标准。目前常用的规划方法主要有粒子群算法、A*算 法、可视图法、人工势场法、蚁群算法等，但其方法多用于已知环境条件下。

当前对于已知环境下的航迹规划问题已经得到了较好的解决，但USV在未知水域作 业执行任务之前无法得到将要监测水域的环境信息，无法通过基于已知环境信息的路径 规划方法去规划USV航行路径。其次由于监测水域环境复杂，传感器信息多，系统的 计算工作量大，致使USV存在实时性差，障碍物前振荡等缺点。因此USV路径规划急 需研究算法简单，实时性强，且能控制系统中的不确定现象的路径规划算法，所以有必 要引入具有自主学习能力的方法，其中基于Q学习算法的路径规划适合于在未知环境的 路径规划。现研究中郭娜等人在传统Q学习算法基础上，采用模拟退火方法进行动作选 择，解决探索与利用的平衡问题。陈自立等人]提出采用遗传算法建立新的Q值表以进 行静态全局路径规划。董培方等人把人工势场法加入Q学习算法中，以引力势场作为初 始环境先验信息，再对环境逐层搜索，加快Q值迭代。