[发明专利]一种深度强化学习的实时在线路径规划方法

权利要求书

1.一种深度强化学习的实时在线路径规划方法，其特征在于：包括以下步骤：

步骤1：采集相机图像，将采集的图像输入到场景解析网络中，得到对应的解析结果图，所述解析结果图中，解析得到的属于同一类的物体采用同一颜色表示；

步骤2：将解析结果图输入到带初始权重的深度循环神经网络中，并做如下处理：

步骤2.1：采集待规划智能体与环境进行交互的历史经验，并存储在经验回放存储器中，所述历史经验为四元组信息(s,a,r,s’)，s为当前状态，a为执行动作，r为对应动作a的回报值，s’为执行动作a后的下一个状态；所述历史经验的获取过程为：智能体根据当前状态s，从可行的动作集中任意选择一个动作a，智能体对动作a进行评估，如果智能体执行动作a后遇到障碍物或不能通行的标记，则给予惩罚值，如果智能体执行动作a后更加接近目的地或到达目的地时，则给予奖励值；智能体采集执行动作a后的环境图像，并输入到场景解析网络后，得到状态s’；

步骤2.2：持续采集待规划智能体与环境进行交互的历史经验，并存储到经验回放存储器中，得到训练样本集D；

步骤3：在经验回放存储器中随机采样四元组信息(s,a,r,s’)，输入到深度循环神经网络和目标深度循环神经网络中，并做如下处理；其中初始时，深度循环神经网络和目标深度循环神经网络参数相同；

步骤3.1：将状态s代入深度循环神经网络中进行前馈操作得到所有可行动作对应的预测Q值；

步骤3.2：将状态s在其四元组信息中对应的状态s’代入目标深度循环神经网络中进行前馈操作计算网络输出的最大值max_a'Q(s',a',w^-)，其中a’为状态s’代入目标深度循环神经网络后对应最大Q值的动作，w^-为目标深度循环神经网络的权重；将状态s在其四元组信息中对应的动作a的动作值Q(s,a；w)更新为r+γmax_a'Q(s',a',w^-)，其中γ为折扣因子；

步骤3.3：根据深度循环神经网络和目标深度循环神经网络的输出构建损失函数为：

L(w)＝E_s,a,r,s'～D(r+γmax_a'Q(s',a',w^-)-Q(s,a,w))²]

其中E表示数学期望

步骤3.4：应用随机梯度下降方法进行深度循环神经网络和目标深度循环神经网络权重的迭代更新，其中深度循环神经网络中的权重实时更新，而目标深度循环神经网络中的权重每隔设定时间步进行更新；当达到迭代步数后，得到训练完成的深度循环神经网络；

步骤4：深度循环神经网络训练完成后，智能体将采集到的图像信息输入由场景解析网络和训练完成的深度循环神经网络组成的深度强化学习网络中，得到智能体的行走方向信息。

2.根据权利要求1所述一种深度强化学习的实时在线路径规划方法，其特征在于：步骤1中的场景解析网络包括卷积神经网络特征学习层，条件随机场结构化学习层，基于深度置信网络的特征融合层。

3.根据权利要求2所述一种深度强化学习的实时在线路径规划方法，其特征在于：根据步骤3，获得N个不同网络架构的深度循环神经网络模型，对于第i个模型，采用以下公式计算第i个模型的权重系数θ_i：

其中Q_ij表示第i个模型在样本集D上训练时得到的平均回报；将N个深度循环神经网络模型融合，对于状态s的融合决策动作a为：

4.根据权利要求3所述一种深度强化学习的实时在线路径规划方法，其特征在于：根据计算机的处理能力，在步骤2之前对原始解析结果图进行灰度处理和降采样，然后输入到带初始权重的深度循环神经网络中。