[发明专利]基于经验新鲜度提升深度强化学习收敛速度的方法及系统

权利要求书

1.一种基于经验新鲜度提升深度强化学习收敛速度的方法，其特征在于，所述方法包括：

S1：构建DQN网络模型并设置环境超参数，初始化当前价值网络和目标价值网络的网络参数，初始化经验回放区并设置回放计数数组和生命周期指针；

S2：基于动作选择策略进行经验积累，计算经验的时序差分误差和新鲜度优先级，并根据生命周期指针更新所述经验回放区；

S3：根据经验的采样概率从所述经验回放区中进行采样并更新所述回放计数数组，利用采样到的经验组训练当前价值网络并更新其网络内部参数，以得到最优动作。

2.根据权利要求1所述的基于经验新鲜度提升深度强化学习收敛速度的方法，其特征在于，所述环境超参数包括：采样数量、网络学习率、经验回放区容量、训练轮数、新鲜度折扣因子、回报折扣因子；所述网络参数包括网络层数与节点数、激活函数、优化器。

3.根据权利要求1所述的基于经验新鲜度提升深度强化学习收敛速度的方法，其特征在于，所述回放计数数组与经验回放区大小相同，用于存储经验回放区每个位置上经验被采样的次数；所述生命周期指针指向经验回放区中对应最小绝对时序差分误差的经验的位置。

4.根据权利要求1所述的基于经验新鲜度提升深度强化学习收敛速度的方法，其特征在于，所述基于动作选择策略进行经验积累，计算经验的时序差分误差和新鲜度优先级，并根据生命周期指针更新所述经验回放区，具体包括：

获取当前时步t对应环境的当前状态s_t并输入至当前价值网络，根据对应的当前动作选择策略选择当前动作a_t输出至环境，并获得对应的奖励值r_t及下一时步对应的下一状态s_t+1；将当前状态s_t和当前动作a_t输入至当前价值网络以输出得到对应的当前Q值；

将向量(s_t,a_t,r_t,s_t+1)作为一条经验存储至所述经验回放区，分别计算经验的时序差分误差和新鲜度优先级，并将当前时步对应的当前经验替换至生命周期指针对应的位置，将所述当前经验设置为最高新鲜度优先级，并将所述生命周期指针对应位置的经验的回放次数重置为0。

5.根据权利要求4所述的基于经验新鲜度提升深度强化学习收敛速度的方法，其特征在于，所述经验的时序差分误差的计算公式为：

其中，δ_i表示第i个经验的时序差分误差；r_i表示获得的奖励值；γ表示回报折扣因子；Q(s_i,a_i)表示当前Q值；表示目标Q值对应的最大动作；

所述经验的新鲜度优先级的计算公式为：

p_i＝μ^C(i)|δ_i|+∈；

其中，p_i表示第i个经验的新鲜度优先级；C(i)表示第i个经验被回放的次数；μ表示新鲜度折扣因子；∈表示一个极小的正常数，用于防止采样概率为0。

6.根据权利要求1所述的基于经验新鲜度提升深度强化学习收敛速度的方法，其特征在于，所述根据经验的采样概率从所述经验回放区中进行采样并更新所述回放计数数组，利用采样到的经验组训练当前价值网络并更新其网络内部参数，以得到最优动作，具体包括：

根据经验的采样概率从所述经验回放区中进行采样，并更新所述回放计数数组；

利用采样到的经验组训练所述当前价值网络并更新其网络内部参数，并更新样本中经验的时序差分误差及其新鲜度优先级；定期将所述当前价值网络的参数复制给所述目标价值网络；

当达到最大训练轮数时，结束训练以得到最优动作并输出最终的目标价值网络；否则返回步骤S2。