[发明专利]一种基于目标导向的深度强化学习中优先经验回放方法

权利要求书

1.一种基于目标导向的深度强化学习中优先经验回放方法，其特征在于，包括以下步骤：

步骤1、对gym mountain_carv0的数据进行预处理；

步骤2、根据智能体小车在不同状态下与目标状态下的差异作为目标导向因子，公式如下：

式中，X_终是目标状态下智能体小车所处的横坐标值，X_t+1是t+1时刻下智能体小车所处的横坐标值；

步骤3、利用DQN算法构建深度强化学习框架；

步骤4、根据行为值函数的TD-error去量化经验的优先级的第一部分，其公式为：

p＝|δ_t|+∈

式中，γ是折扣因子，0＜γ＜1，r_t+1是智能体t+1时刻下的即时奖励，s_t+1是智能体在t+1是时刻下的状态，a_t+1是智能体在t+时刻下采取的动作，|δ_t|是t时刻下TD-error的绝对值，∈是一个非零的常数；

步骤5、将目标导向因子加入到优先级定义中，优先级公式如下：

p_i＝p+α

式中，α是目标因子；P(i)是第i条经验的优先级；

将经验池中不同经验的优先级p_i来回放经验，不断对整个网络进行更新，以求得到更好的结果。

2.根据权利要求1所述的一种基于目标导向的深度强化学习中优先经验回放方法，其特征在于，所述步骤1具体为：采集智能体小车在gym mountain_carv0数据的信息，存入txt文件中，形成数据集。

3.根据权利要求1所述的一种基于目标导向的深度强化学习中优先经验回放方法，其特征在于，所述步骤3具体为：

步骤3.1、根据智能体小车行动轨迹的状态集合和动作集合；

步骤3.2、将状态集合作为输入，输入到DQN，得到的Q值即状态函数值，则Q值所对应的公式为：

经验池中TD误差公式为：

式中，Q(s_t,a_t)是每一时间步t动作状态值函数，γ折扣因子，r_t+1是即时奖励，δ_t是在时间t时刻下的TD-error。

4.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-3中任一项所述的一种基于目标导向的深度强化学习中优先经验回放方法。

5.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的一种基于目标导向的深度强化学习中优先经验回放方法。