[发明专利]基于深度增强学习的工业机械臂自动控制方法

摘要

本发明涉及一种基于深度增强学习的工业机械臂自动控制方法，构建深度增强学习模型、构造输出干扰、建立奖励rt计算模型、构建仿真环境、积累经验池、训练深度强化学习神经网络及利用训练好的深度增强学习模型在实际中控制机械臂运动。通过加入深度增强学习网络，解决机械臂在复杂环境的自动控制问题，完成机械臂的自动控制，且训练完成后运行速度快、精度高。

主权项

1.一种基于深度增强学习的工业机械臂自动控制方法，其特征在于：所述控制方法包括如下步骤：步骤1)构建深度增强学习模型1.1)经验池初始化：设定经验池为m行、n列的二维矩阵，二维矩阵中每个元素的值初始化为0，其中，m为样本容量大小、n为每个样本储存的信息数量，n＝2×state_dim+action_dim+1，state_dim为状态的维度、action_dim为动作的维度；同时，在经验池中预留出用于存储奖励信息1的空间，n＝2×state_dim+action_dim+1这个公式中的1即为存储奖励信息的预留空间；1.2)神经网络初始化：神经网络分为Actor网络和Critic网络两个部分，Actor网络为行为网络、Critic网络为评价网络，每个部分又分别构建两个结构完全相同而参数不同的eval net和target net，eval net为估计网络、target net为目标网络，从而形成μ(s|θμ)网络、μ(s|θμ′)网络、Q(s,a|θQ)网络及Q(s,a|θQ′)网络共四个网络，即μ(s|θμ)网络为行为估计网络、μ(s|θμ′)网络为行为目标网络、Q(s,a|θQ)网络为评价估计网络、Q(s,a|θQ′)网络为评价目标网络；随机初始化μ(s|θμ)网络的参数θμ和随机初始化Q(s,a|θQ)网络的参数θQ，然后将μ(s|θμ)网络的参数θμ值赋予行为目标网络，即θμ′←θμ，将Q(s,a|θQ)网络的参数θQ值赋予评价目标网络，即θQ′←θQ；步骤2)构造输出干扰根据当前输入状态st，通过网络得到动作at′，再设定一个均值为at′、方差为var2的随机正态分布从随机正态分布中随机得到一个实际输出动作值at，随机正态分布对动作at′施加了干扰，用于探索环境，其中，代表t时刻评价估计网络的参数，t为当前输入状态的时刻；步骤3)建立奖励rt计算模型步骤4)构建仿真环境机器人仿真模拟软件V-REP具有世界各大工业机器人的模型，基于此，机器臂的仿真环境搭建难度降低，通过V-REP(Virtual Robot Experimentation Platform)软件，构建与实际应用相符的仿真环境；步骤5)积累经验池5.1)根据当前输入状态st，通过网络得到动作at′，再根据步骤2)建立的输出干扰得到实际输出动作at，并从环境中得到奖励rt和后续输入状态st+1，将当前输入状态st，实际输出动作at，奖励rt和后续输入状态st+1存储在经验池中，并将当前输入状态st、实际输出动作at、奖励rt、后续输入状态st+1统称为状态转移信息transition；5.2)将后续输入状态st+1当做现在的当前输入状态st，重复步骤5.1)，将计算得到的状态转移信息transition存储在经验池中；5.3)重复步骤5.2)直至经验池的空间被存储满，经验池的空间被存储满后每执行一次步骤5.2)便跳转执行一次步骤6)；步骤6)训练深度强化学习神经网络6.1)取样从经验池中取出batch组样本供神经网络学习，batch代表自然数；6.2)对评价网络参数进行更新6.3)对行为估计网络参数进行更新6.4)对目标网络参数进行更新6.5)分为xm回合，每个回合重复步骤6.1)～6.4)xn次，每次重复6.1)～6.4)后，输出干扰的var值更新为var＝max{0.1，var＝var×gamma}，其中xm、xn代表自然数，gamma为大于零小于1的有理数；步骤7)利用步骤6)中训练好的深度增强学习模型在实际中控制机械臂运动7.1)在真实环境中，工业ccd相机的输入做预处理，t时刻的图片通过高斯滤波后作为供神经网络处理的状态；7.2)通过相机得到真实环境的当前输入状态st，深度增强学习网络根据当前输入状态st控制机械臂转动，得到后续输入状态st+1。将后续输入状态st+1当做当前输入状态st，如此循环，直至深度增强学习模型控制机械臂抓取到目标。