[发明专利]一种基于视觉信息的深度强化学习DDPG算法的机械臂抓取控制方法

摘要

本发明公开了一种基于视觉信息的深度强化学习DDPG算法的机器臂抓取控制方法，旨在解决现有技术中机械臂工作场景灵活性差，场景变动后，人工示教调试慢，效率低等技术问题。该方法首先采用卷积神经网络并融合卡尔曼滤波，对待抓取的物体进行实时检测与跟踪，并提取待抓取物体的平面3D位姿信息。设计一种基于末端执行器速度平滑约束的示教机制，解决经典DDPG网络在初始化训练初由于动作随机导致的有效数据少，算法效率低的问题；并设计基于能量约束归一化非线性奖励函数，把输入到深度强化学习网络的数据解算至相同的区间，并且对变量进行非线性的函数映射，使得网络梯度下降的时候速率更快，提高训练效率和机械臂在靠近目标物体附近时产生的抖动问题；基于仿真环境对强化学习网络进行预训练，并对待抓取物体位姿进行显示表达，使得该算法在新对象和环境中具有更强的泛化能力，将快速迁移到真实世界的机械臂上面。