[发明专利]基于Q学习神经网络的无人船路径规划方法

摘要

本发明公开了种基于Q学习神经网络的无人船路径规划方法，包括以下步骤：a)、初始化存储区D；b)、初始化Q网络，状态、动作初始值；c)、随机设定训练目标；d)、随机选择动作a_t，得到当前奖励r_t，下一时刻状态s_t+1，将(s_t,a_t,r_t,s_t+1)存到存储区D中；e)、从存储区D中随机采样一批数据进行训练，即一批(s_t,a_t,r_t,s_t+1)，当USV达到目标位置，或超过每轮最大时间时的状态都认为是最终状态；f)、如果s_t+1不是最终状态，则返回步骤d，若s_t+1是最终状态，则更新Q网络参数，并返回步骤d，重复n轮后算法结束；g)、设定目标，用训练后的Q网络进行路径规划，直到USV到达目标位置。本发明决策时间短、路线更优化，能够满足在线规划的实时性要求。

主权项

1.一种基于Q学习神经网络的无人船路径规划方法，其特征在于，包括以下步骤：a)、初始化存储区D；b)、初始化Q网络，状态、动作初始值；Q网络中包含以下元素：S，A，P_s,α，R，其中其中S表示USV所处的系统状态的集合，A表示USV所能采取的动作的集合，P_s,α表示系统状态转移概率，R表示奖励函数；c)、随机设定训练目标；d)、随机选择动作a_t，得到当前奖励r_t，下一时刻状态s_t+1，将(s_t,a_t,r_t,s_t+1)存到存储区D中；e)、从存储区D中随机采样一批数据进行训练，即一批(s_t,a_t,r_t,s_t+1)，当USV达到目标位置，或超过每轮最大时间时的状态都认为是最终状态；f)、如果s_t+1不是最终状态，则返回步骤d，若s_t+1是最终状态，则更新Q网络参数，并返回步骤d，重复n轮后算法结束；g)、设定目标，用训练后的Q网络进行路径规划，直到USV到达目标位置。