[发明专利]基于强化学习的自动化流水线作业效率优化系统及方法

权利要求书

1.一种基于强化学习的自动化流水线作业效率优化系统，其特征在于，包括：

用于传送工件的传送带(2)，传送带(2)上设有视觉采集区域和机器人工作区域，且视觉采集区域与机器人工作区域彼此无重叠；

机器人工作区域有两个用于搬运工件(3)的机器人，分别定义为第一机器人(1)及第二机器人(7)，其中，第一机器人(1)位于传送带(2)始端，用于将工件(3)搬运到传送带(2)上；第二机器人(7)位于传送带(2)末端，用于抓取传送带(2)上的工件(3)并搬运到指定位置；

位于第一机器人(1)与第二机器人(7)之间的可旋转转台(4)，可旋转转台(4)用于存储工件(3)；

在传送带上的第二机器人(7)工作区域设有用于检测工件(3)是否传输到位的光电开关(5)；

视觉采集区域有第一视觉采集系统及第二视觉采集系统，其中：

第一视觉采集系统位于传送带(2)始端，用于第一机器人(1)准确抓取目标工件(3)并平稳放至到传送带(2)上，并获取工件(3)的图像信息；

第二视觉采集系统位于光电开关(5)正上方，用于获取工件(3)的图像信息，便于第二机器人(7)精准抓取；

上位机，用于获取第一视觉采集系统及第二视觉采集系统采集到的图像信息并进行分析处理，进而控制第一机器人(1)及第二机器人(7)运动。

2.如权利要求1所述的一种基于强化学习的自动化流水线作业效率优化系统，其特征在于，所述第二机器人(7)包括库卡KR6 R900机械臂及设于库卡KR6 R900机械臂底部的水平移动导轨(6)，通过水平移动导轨(6)增大库卡KR6 R900机械臂的工作空间范围，使第二机器人(7)相当于一个七自由度的机器人。

3.如权利要求1所述的一种基于强化学习的自动化流水线作业效率优化系统，其特征在于，还包括PLC控制系统，所述上位机连接PLC控制系统，所述PLC控制系统连接所述传送带(2)的控制器和所述光电开关(5)。

4.一种基于强化学习的自动化流水线作业效率优化方法，其特征在于，包括以下步骤：

步骤1、基于Tensorflow和V-Rep实现如权利要求1所述的系统的流水线仿真平台的搭建，通过Tensorflow来搭建流水线的神经网络模型并基于V-Rep搭建的仿真环境对其进行强化训练；

流水线工作流程为：工件(3)由第一机器人(1)从转台(4)的一面上取下，放置在传送带(2)上，跟随传送带(2)运动，与此同时，第一机器人(1)回到转台(4)抓取下一个工件(3)；当工件(3)通过光电开关(5)后，由第二机器人(7)夹取并放置在转台(4)的另一面，放置完成后接着抓取下一个从传送带(2)过来的工件(3)，循环往复，直至将转台(4)上的所有工件(3)抓取完成放置到转台(4)的另外一面；

强化训练时，训练环境中每个流水线仿真实验在约束条件下随机初始化第一机器人(1)、第二机器人(7)和传送带(2)的状态，并按照预期结果运行；每个仿真实验结束的标志就是所有工件(3)都由转台(4)的一面经由流水线到达另一面；同时，记录下整个过程所需要的时间，其中，当第一机器人(1)或第二机器人(7)任意关节的状态不满足其关节的约束或超过流水线预设的时间，则视为本次仿真实验失败，并继续新的仿真实验，重复进行海量的仿真实验后，流水线仿真平台得出时间最优解，进一步得到最优的第一机器人(1)及第二机器人(7)运动参数；

步骤2、将步骤1得到的最优的第一机器人(1)及第二机器人(7)运动参数作为基准值运用到实际的机器人搬运流水线上进行训练，在一种强化学习架构上运用A3C算法来对整个流水线进行强化学习，最后基于梯形速度曲线在线规划第一机器人(1)及第二机器人(7)的轨迹，并使用一个自整定的自适应控制器控制第二机器人(7)对工件(3)的跟踪抓取运动。