[发明专利]一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法

说明书

本发明提出一种基于记忆关联强化学习的实时水下机器人智能决策方法，属于算法技术领域，具体为一种基于RBF神经网络和Q学习结合的水下机器人路径规划智能决策方法。通过Q学习的自主学习能力和RBF神经网络的函数逼近能力，可实现水下机器人在路径探索过程中逐步学习的功能。首先定义针对于路径规划的Q学习四元组，分别为：环境状态，行为动作，及时得分，状态转移，探索过程中逐步更新状态‑动作值函数Q(s,a)进行学习；然后利用RBF神经网络拟合Q学习的结果，即状态动作值函数；最后更新完成的神经网络权值即为学习的结果，此神经网络提供了环境状态到行为的映射关系，可用于未知环境下的智能决策。

技术领域

本发明涉及一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法，具体说是一种基于RBF神经网络和Q学习结合的水下机器人路径规划的智能决策方法，属于算法领域。

背景技术

水下机器人具有无碰撞规划的能力是顺利执行任务的一个先决条件，路径规划任务就是搜索一条从起始位置到目标位置的无碰撞路径，同时优化性能指标如距离，时间或能耗，其中距离是最常采用的标准。根据机器人所具有的先验信息的多少，可将路径规划方法划分为全局和局部两种算法，其中局部的路径规划可以通过传感器在线探测机器人的工作环境信息，根据每一时刻的环境信息，来进行此时刻AUV的行为决策。全局路径规划是根据已知的全部环境信息来进行最优路径的搜索。全局路径规划方法有可视图法，自由空间法，栅格法等。局部路径规划方法常用的有人工势场法，遗传算法，神经网络法，模糊逻辑方法等。

目前，模糊逻辑、人工势场法、遗传算法、随机树、神经网络等都是较为成功有效的机器人路径规划方法，但这些方法通常需要假设完整的环境配置信息，然而，在大量的实际应用中需要智能体具有适应不确定性环境的能力。强化学习(ReinforcementLearning，RL)方法通过智能体与未知环境交互，并尝试动作选择使累积回报最大，该方法通常运用马尔可夫决策过程(MDP)进行环境建模，通常MDP模型主要针对理想情况下的单智能体系统。另外智能体环境状态的不确定性也可由部分可观测马尔可夫决策过程进行描述。强化学习算法通过智能体与环境的交互进行学习并优化控制参数，在先验信息较少的复杂优化决策问题中具有广阔的应用前景。

发明内容

本发明提供了一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法，此模型经过大量的训练后，最终可建立环境状态与行为动作的最优映射关系，训练好的模型可用于水下机器人在未知环境下的智能决策。

本发明提供的方法通过以下步骤实现：

1.AUV在起点由声纳感知环境状态s；

2.感知当前环境状态，根据策略(开始为随机选择)选择一个AUV转角行为(a)；

3.执行该转角动作(a)，得到奖励(r)，状态转移到s_；

4.将获得的(s,a,r,s_)样本存储到样本池中，并判断样本池中的样本个数是否达到规定数目100：达到，样本中随机抽取30个样本作为神经元中心cⁱ，初始化神经网络，转到步骤5，以后将不再执行次步骤；未达到，转到步骤2；

5.在样本池中随机抽取60个样本，将s作为网络输入，得到以a为动作的Q(s_t,a_t)，得到所有动作的Q(s_t+1,a_t+1)值；

6.根据公式计算出Q值对应的target_Q值：使用Q和target_Q训练网络，表达式如下：

7.判断s_是否终止点：是终止点，回到步骤1；非终止点，则当前状态更新为s_，返回到步骤2。

8.训练结束，获得训练好的决策神经网络。