[发明专利]一种针对机械臂运动控制的手臂引导运动控制方法

权利要求书

1.一种针对机械臂运动控制的手臂引导运动控制方法，其特征在于，所述手臂引导运动控制方法包括：

通过视觉传感器捕获视觉范围内的彩色图像和深度图像，实现三维人体姿态识别，并提取出人体骨架模型，得到手臂关节的三维坐标；

建立手臂模型和机械臂的空间模型，并建立手臂与机械臂之间的映射关系；

将机械臂与手臂转换到同一坐标系，根据手臂与机械臂之间的映射关系，通过手臂关节的三维坐标得到对应的机械臂关节的三维坐标；

将机械臂关节的三维坐标转换为空间向量，利用空间向量法获得机械臂的关节值，基于获得的机械臂的关节值完成机械臂的运动控制；

其中，所述通过视觉传感器捕获视觉范围内的彩色图像和深度图像，实现三维人体姿态识别，并提取出人体骨架模型，包括：

通过RGB-D深度相机捕获视觉范围内的彩色图像和深度图像，并对捕获的彩色图像和深度图像进行配准；

将配准后的彩色图像输入OpenPose框架，得到二维人体姿态识别图像，并结合配准后的深度图像，实现三维人体姿态识别，并提取出人体骨架模型；

所述对捕获的彩色图像和深度图像进行配准，包括：

设P_ir为在深度摄像头坐标下某点的空间坐标，p_ir为该点在像平面上的投影坐标，H_ir为深度摄像头内参矩阵，由小孔成像模型可知，其满足以下关系：

p_ir＝H_irP_ir

设P_rgb为在RGB摄像头坐标下同一点的空间坐标，p_rgb为该点在RGB像平面上的投影坐标，H_rgb为RGB摄像头的内参矩阵；由于深度摄像头的坐标和RGB摄像头的坐标不同，它们之间可通过一个旋转平移变换联系起来，即：

P_rgb＝RP_ir+T

其中，R为旋转矩阵，T为平移向量；

最后再用H_rgb对P_rgb投影，即可得到该点对应的RGB坐标：

p_rgb＝H_rgbP_rgb

外参矩阵实际上也是由一个旋转矩阵R_ir或R_rgb和平移向量T_ir或T_rgb构成的，它表示将一个全局坐标系下的点P变换到摄像头坐标系下，分别对深度摄像头和RGB摄像头进行变换，有以下关系：

P_ir＝R_irP+T_ir

P_rgb＝R_rgbP+T_rgb

通过以上公式进行推算对比可得：

Z_rgb*p_rgb＝R*Z_ir*p_ir+T

通过最后一个公式即可实现彩色图像和深度图像的配准。

2.如权利要求1所述的针对机械臂运动控制的手臂引导运动控制方法，其特征在于，所述将配准后的彩色图像输入OpenPose框架，得到二维人体姿态识别图像，包括：

将配准后的彩色图像输入二分支的卷积神经网络，并预测身体监测的二维置信图S(J)和亲和域L(c)，在L(c)中的每个图像位置都编码一个2D向量后，通过二分配匹配解析置信图和亲和域来确定关节点所属对象，并将相邻关节点连接为肢体，输出图像中所有人的2D识别图，并提取关节点的二维坐标数据，其中，所提取数据包括15个关节点。