[发明专利]一种融合历史信息的强化学习路径规划方法

权利要求书

1.一种融合历史信息的强化学习路径规划方法，其特征在于：包括以下步骤：

S1：获取环境图像，建立格栅地图；

S2：定义强化学习状态空间和动作空间；

S3：初始化算法参数；

S4：动态调整动作空间；

S5：在调整后的动作空间中，采用ε-贪婪策略选择动作；

S6：执行动作，更新Q值；

S7：复执行第四步、第五步、第六步，直到达到一定步数或一定收敛条件为止；

S8：每一步选择Q值最大的动作，得出最优路径；

S9：把最优路径发送给移动机器人的控制器，控制移动机器人按照最优行走。

2.根据权利要求1所述的融合历史信息的强化学习路径规划方法，其特征在于：所述步骤S1的具体操作如下：基于移动机器人所搭载的摄像头获得环境图像，并将图像分割成20×20的栅格，采用栅格法建立环境模型，如果在格栅中发现障碍物，则定义该栅格为障碍物位置，机器人不能经过；如果格栅中发现目标点，则定于该格栅为目标位置，为移动机器人最终要到达的位置；其他的栅格定义为无障碍物的栅格，机器人可以经过。

3.根据权利要求1所述的融合历史信息的强化学习路径规划方法，其特征在于：所述步骤S2的具体操作如下：定义强化学习的状态空间为智能体的当前位置坐标和上一位置坐标，动作空间为上、下、左、右四个方向的动作，每次执行动作之后智能体朝相应的方向移动一个栅格。

4.根据权利要求1所述的融合历史信息的强化学习路径规划方法，其特征在于：所述步骤S3中的算法参数包括学习率ɑ∈（0，1），折扣因子γ∈（0，1），贪婪因子ε∈（0，1），最大迭代次数，奖赏函数r；把所有Q值初始化为0，并随机给定一个动作，执行该动作到达下一状态。

5.根据权利要求1所述的融合历史信息的强化学习路径规划方法，其特征在于：所述步骤S4中的动态调整动作空间为若上一步动作为上，则动作空间调整为{上，左，右｝；若上一步动作为下，则动作空间调整为{下，左，右}；若上一步动作是左，则动作空间调整为{上，下，左}；若上一步动作是右，则动作空间调整为{上，下，右}。

6.根据权利要求1所述的融合历史信息的强化学习路径规划方法，其特征在于：所述步骤S6的具体操作如下：执行步骤S5所选择的动作a，到达s，得到即时奖励R（s，a），更新Q值函数，更新规则如式（1）

（1）

其中，（s，a）为当前状态-动作对，(s^，，a^，)为下一时刻的状态-动作对，R（s，a）为状态s下执行动作a的即时奖励。

7.根据权利要求1所述的融合历史信息的强化学习路径规划方法，其特征在于：所述学习率ɑ = 0.01，折扣因子γ = 0.9，贪婪因子ε=0.2，最大迭代次数设置为3000次，奖励函数设置为：。