[发明专利]一种基于强化学习的AGV路径规划方法及系统

权利要求书

1.一种基于强化学习的AGV路径规划方法，其特征在于，所述方法至少包括：

S1.构建AGV动力学模型，设置前向差分更新步长，基于前向差分更新步长及AGV动力学模型确定AGV的基本状态更新表达式；

S2.以AGV为智能体，AGV行驶所感知到的环境信息为状态信息，考虑目的地位置、障碍物位置设计状态空间，以及设计连续性动作空间、多重奖励机制；

步骤S2所述的考虑目的地位置、障碍物位置设计的状态空间包括：

a.AGV当前的位置信息：

其中，s_pos表示AGV当前的位置信息；M矩阵是角度矩阵，代表AGV与目的地位置间的方位角θ的联系；(x_g，y_g)为目的地的位置坐标，(x_r，y_r)为当前AGV的位置坐标；

b.AGV到障碍物的位置信息：

其中，s_{obs_i}表示环境中的障碍物信息；(x_{obs_i}，y_{obs_i})表示第i个障碍物的中心点位置，是AVG自运动始已观察到的状态；(x_r，y_r)表示当前AGV的位置；

c.AGV到障碍物间的距离信息：

其中，Dis_i表示AGV位置与第i个障碍物的中心点的距离，(x_r，y_r)表示当前AGV的位置，(x_{obs_i}，y_{obs_i})表示当前第i个障碍物中心点的位置；状态空间表示为：

state＝[s_pos，s_{obs_i}，Dis_i]，i∈(1，N)；

其中，N表示随机障碍物的个数上限；

步骤S2所述的连续性动作空间表示为：

action＝[α，w]

其中，α表示AGV的连续性动作加速度向量，w为角速度向量，两者代表AVG小车的实时运动信息；

多重奖励机制包括：行驶主线奖励、若干个辅助奖励及时间奖励，具体为：

其中，R_Goal表示终点回报奖励，为行驶主线奖励，W_g表示终点回报奖励的权重值，终点回报奖励满足：R_Goal＝1；R_distance表示距离回报奖励，W_dis表示距离回报奖励的权重值，距离回报奖励满足：

τ_t为微分量也即差分时长，代表AGV每次移动的步距；d_last为记录前一时刻AGV距终点的距离；d_curr为当前时刻AGV距终点的距离，Time为所花费的步数；为第i个障碍物的大小阈值；R_direction表示方向回报奖励，W_dir表示方向回报奖励的权重值，满足：

R_direction＝π-2θ′，θ′＝min(2|θ|，π)

R_out表示出界回报奖励，W_out表示出界回报奖励的权重值，满足：R_out＝10；R_obstacle表示碰撞回报奖励，满足：

其中，W_obs表示碰撞回报奖励的权重值；

S3.根据AGV动力学模型及AGV的基本状态更新表达式，结合状态空间、连续性动作空间及多重奖励机制，完成AGV路径规划的马尔科夫过程建模；

S4.引入Actor-Critic框架，基于状态空间、连续性动作空间及多重奖励机制，智能体与环境交互，以最大化奖励及最大化策略熵为目标，进行策略学习训练，使得智能体在训练的过程中朝着最优的奖励方向运动；

S5.当训练收敛时，得到智能体AGV的每步决策动作，进而得到最优的AGV规划路径。