[发明专利]一种基于多源信息深度强化学习的机械臂控制方法及系统

权利要求书

1.一种基于多源信息深度强化学习的机械臂控制方法，其特征在于：包括以下步骤：

S1.采集机械臂的图像数据及机械臂的本体数据；

S2.采用示教学习初始化力控策略的参数；

S3.解析图像数据及机械臂本体信息数据，得到图像的联合特征，并通过强化学习模型获得实时力控策略；

S4.通过初始化的力控策略的参数更新实时力控策略，并通过更新后的实时力控策略下达运动控制指令给机械臂进行工作，采集工作中的图像数据和机械臂本体信息数据；

S5.更新图像数据、机械臂本体信息数据，回到步骤S3，不断优化机械臂力控策略。

2.根据权利要求1所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：所述的图像数据包括深度相机采集到的深度图像数据和RGB相机采集到的RGB图像数据。

3.根据权利要求1所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：所述的本体数据包括机械臂各个关节的力/力矩传感器的感知数据、机械臂末端执行器的状态参数；所述的状态参数包括末端坐标、关节角度和角速度。

4.根据权利要求1所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：所述的力控策略的参数包括机械臂位姿和线性二次调节器中的系数矩阵。

5.根据权利要求4所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：步骤S2，具体为：

S201.通过拖曳机械臂进行示教学习的数据采集；

S202.通过高斯混合模型对获得的示教学习的数据进行建模，并计算出模型的协方差与均值，得到模型的协方差矩阵；

S203.通过高斯混合模型的协方差矩阵初始化二次型调节器的系数矩阵；

S204.通过高斯混合模型的均值初始化机械臂位姿。

6.根据权利要求5所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：所述的示教学习的数据包括机械臂的位姿信息、关节角度信息、角速度信息。

7.根据权利要求5所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：步骤S203，具体为：通过高斯混合模型的协方差矩阵初始化二次型调节器的R矩阵和Q矩阵。

8.根据权利要求5所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：步骤S3，具体为：

S301.将机械臂的图像数据及本体数据输入卷积神经网络得到若干个模态特征表示；

S302.各个模态特征表示分别通过其对应的神经网络层后统一通过隐藏层，将通过隐藏层后得到的模态映射到联合空间，得到统一联合特征；

S303.将统一联合联合特征通过隐藏层得到初始预测；

S304.将初始预测输入强化学习模型中得到机械臂的力控策略。

9.根据权利要求8所述的基于多源信息深度强化学习的机械臂控制方法，其特征在于：通过初始化的力控策略的参数更新实时力控策略，具体为：通过初始化的力控策略的二次型调节器的系数矩阵和机械臂位姿更新实时力控策略的二次型调节器和机械臂位姿。

10.一种基于多源信息深度强化学习的机械臂控制系统，其特征在于：包括用于采集机械臂的图像数据及机械臂的本体数据的感知模块、用于采用示教学习初始化力控策略的参数的初始化模块、用于解析图像数据及机械臂本体信息数据，得到图像的联合特征，并通过强化学习模型获得实时力控策略的学习模块、用于通过初始化的力控策略的参数更新实时力控策略，并通过更新后的实时力控策略下达运动控制指令给机械臂进行工作，采集工作中的图像数据和机械臂本体信息数据的控制模块。