[发明专利]一种基于多源信息深度强化学习的机械臂控制方法及系统

说明书

本发明涉及机械臂控制技术领域公开了一种基于多源信息深度强化学习的机械臂控制方法及系统，包括以下步骤：S1.采集机械臂的图像数据及机械臂的本体数据；S2.采用示教学习初始化力控策略的参数；S3.解析图像数据及机械臂本体信息数据，得到图像的联合特征，并通过强化学习模型获得实时力控策略；S4.通过初始化的力控策略的参数更新实时力控策略，并通过更新后的实时力控策略下达运动控制指令给机械臂进行工作，采集工作中的图像数据和机械臂本体信息数据；S5.更新图像数据、机械臂本体信息数据，回到步骤S3，不断优化机械臂力控策略。本发明解决了现有机械臂控制技术获取外界信息的途径很有限的问题，且具有采用多源信息输入，方便训练的特点。

技术领域

本发明涉及机械臂控制技术领域，更具体的，涉及一种基于多源信息深度强化学习的机械臂控制方法及系统。

背景技术

现有的机械臂控制方法有基于模型(model-based)和基于数据驱动(data drive)两种。传统的机械臂大多采用基于模型来控制，其理论成熟，控制效果可靠。但是随着深度学习研究的加速和大数据的来临，基于数据驱动的机械臂控制也愈发成为控制领域的热点，特别是吸收了控制理论，人工智能等领域的成果之后，基于数据驱动的控制相比传统的机械臂控制具有简单，容易实现，泛化能力强的特点，其应用前景广阔，是机器人领域中的重要发展方向。

目前类似的基于多源信息深度强化学习的机械臂控制方案都会引入多模态作为输入，训练完成后输出各个行为的概率，再去实现机械臂的控制运动。

针对这一问题，现有技术有一种基于多模态感知与学习的机器人自主装配方法，代替传统的基于编程的方法，提高机器人装配策略的鲁棒性和稳定性。但是该技术方案没有引入有关机械臂控制方法；该技术方案获取所述机械臂的运动策略是直接由深度强化学习算法中得来，而且训练时间长。

然而现有机械臂控制技术存在获取外界信息的途径很有限的问题，因此如何发明一种采用多源信息输入的机械臂控制方法，是本技术领域亟需解决的问题。

发明内容

本发明为了解决现有机械臂控制技术获取外界信息的途径很有限的问题，提供了一种基于多源信息深度强化学习的机械臂控制方法及系统控制方法，其具有采用多源信息输入，方便训练的特点。

一种基于多源信息深度强化学习的机械臂控制方法，包括以下步骤：

S1.采集机械臂的图像数据及机械臂的本体数据；

S2.采用示教学习初始化力控策略的参数；

S3.解析图像数据及机械臂本体信息数据，得到图像的联合特征，并通过强化学习模型获得实时力控策略；

S4.通过初始化的力控策略的参数更新实时力控策略，并通过更新后的实时力控策略下达运动控制指令给机械臂进行工作，采集工作中的图像数据和机械臂本体信息数据；

S5.更新图像数据、机械臂本体信息数据，回到步骤S3，不断优化机械臂力控策略。

优选的，所述的图像数据包括深度相机采集到的深度图像数据和RGB相机采集到的RGB图像数据。

进一步的，所述的本体数据包括机械臂各个关节的力/力矩传感器的感知数据、机械臂末端执行器的状态参数；所述的状态参数包括末端坐标、关节角度和角速度。

更进一步的，所述的示教学习的数据包括机械臂的位姿信息、关节角度信息、角速度信息。

更进一步的，所述的力控策略的参数包括机械臂位姿和线性二次调节器中的系数矩阵。

更进一步的，步骤S2，具体为：

S201.通过拖曳机械臂进行示教学习的数据采集；