[发明专利]基于Actor-Critic神经网络连续控制的快速学习算法

摘要

本发明涉及一种Actor‑Critic神经网络连续控制的快速学习算法，经验池初始化、神经网络初始化、构造输出干扰、积累经验池、根据优先数prop采样及训练深度强化学习神经网络，根据由TD_diff、sigmoid_TD和使用迹UT计算出来的优先数prop来优化采样的算法，TD_error的收敛速度加快，使得算法的学习速度加快。

主权项

1.一种基于Actor-Critic神经网络连续控制的快速学习算法，其特征在于：所述快速学习算法包括如下步骤：步骤1)初始化1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+3，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息、使用迹和时间差分错误的空间；1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θμ)网络、μ(s|θμ′)网络、Q(s,a|θQ)网络及Q(s,a|θQ′)网络共四个网络，其中，μ(s|θμ)网络为行为估计网络、μ(s|θμ′)网络为行为目标网络、Q(s,a|θQ)网络为评价估计网络、Q(s,a|θQ′)网络为评价目标网络；随机初始化μ(s|θμ)网络的参数θμ和随机初始化Q(s,a|θQ)网络的参数θQ，然后将μ(s|θμ)网络的参数θμ值赋予行为目标网络，θμ′←θμ，将Q(s,a|θQ)网络的参数θQ值赋予评价目标网络，θQ′←θQ；步骤2)构造输出干扰根据当前输入状态st，通过网络得到动作at′，再设定一个均值为at′、方差为var2的随机正态分布从随机正态分布中随机得到一个实际输出动作at，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；步骤3)积累经验池3.1)根据当前输入状态st，通过网络得到动作at′，再根据步骤2)建立的输出干扰得到实际输出动作at，并从环境中得到奖励rt和后续输入状态st+1，将当前输入状态st，实际输出动作at，奖励rt和后续输入状态st+1存储在经验池中，并将当前输入状态st、实际输出动作at、奖励rt、后续输入状态st+1统称为状态转移信息transition；3.2)计算状态转移信息transition的时间差分错误TD_error13.3)储存信息在经验池中存储步骤3.1)中状态转移信息transition和状态转移信息transition对应的时间差分错误TD_error1，并初始化状态转移信息transition的使用迹UT为1，并将使用迹UT存储在经验池中；3.4)将后续输入状态st+1当做现在的当前输入状态st，重复步骤3.1)～步骤3.3)，将计算得到的状态转移信息transition、状态转移信息transition对应的时间差分错误TD_error1和使用迹UT存储在经验池中；3.5)重复步骤3.4)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤3.4)便跳转执行一次步骤4)和步骤5)；步骤4)根据优先数prop采样4.1)采样从经验池中取出2×batch组样本，batch代表自然数；4.2)对采样中的每组样本分别计算时间差分错误TD_error24.3)计算每组样本中时间差分错误TD_error的变化记为TD_diff；同时，计算每组样本中经过变换后的时间差分错误TD_error2′记为sigmoid_TD；4.4)计算每组样本中的优先数prop4.5)取样完成步骤4.1)～步骤4.4)后，根据优先数prop大小优先采样的原则，按从大到小的顺序取出前几组batch组样本供神经网络学习；4.6)更新使用迹UT步骤5)训练深度强化学习神经网络5.1)对评价网络参数进行更新5.2)对行为估计网络参数进行更新5.3)对目标网络参数进行更新5.4)分为xm回合，每个回合重复步骤5.1)～5.3)xn次，每次重复5.1)～5.3)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，其中xm、xn代表自然数，gamma为大于零小于1的有理数。