[发明专利]机械手遥操作方法以及相关设备

说明书

本申请实施例公开了机械手遥操作方法以及相关设备，用于提升机械手遥操作准确性。本申请实施例方法包括：根据人手图像建立初始热图信息；将初始热图信息输入预先训练好的全局估计网络，由全局估计网络输出全局热图信息以及人手图像中人手的各关键区域中各关键点的二维坐标；拆分全局热图信息以及各关键点的二维坐标，得到与预先训练好的局部估计网络中各分支网络对应的局部热图信息以及局部关键点的二维坐标；将局部热图信息以及局部关键点的二维坐标输入局部估计网络中对应的分支网络，得到每个分支网络输出的人手对应的关键区域中各关键点的三维坐标；根据人手每个关键区域中各关键点的三维坐标操作机械手。

技术领域

本申请实施例涉及机械手领域，尤其涉及机械手遥操作方法以及相关设备。

背景技术

机器人遥操作技术是指，通过人类手部运动的视觉数据或者触觉数据，将人类手部运动映射到机械手，以实现对机械手的远程操作的技术的进行远程操作可以通过使用视觉数据或触觉数据来实现

现有的机器手遥操作方式通常是，获取人手图像，将基于人手图像生成的初始热图信息输入全局估计网络，得到机械手各关键点的估计三维坐标。最后，根据机械手各关键点的估计三维坐标操作机械手。

但现有技术方案中仅考虑到从人手映射到机械手的全局生物特征，导致使用得到的机械手各关键点的估计三维坐标对机械手进行操作后，机械手的手部姿态与人手图像中人手的手部姿态只能在大体走势有较好的一致性，而对于每个手指以及手掌等更为细节的手部姿态无法实现良好的映射，进而导致对机械手遥操作的准确性降低。

发明内容

本申请实施例提供了机械手遥操作方法以及相关设备，用于提升机械手遥操作准确性。

本申请实施例第一方面提供一种机械手遥操作方法，包括：

根据人手图像建立初始热图信息；

将所述初始热图信息输入预先训练好的全局估计网络，由所述全局估计网络输出全局热图信息以及所述人手图像中人手的各关键区域中各关键点的二维坐标；

拆分所述全局热图信息以及所述各关键点的二维坐标，得到与预先训练好的局部估计网络中各分支网络对应的局部热图信息以及局部关键点的二维坐标，其中所述各分支网络用于估计所述人手各关键区域中各关键点的三维坐标；

将所述局部热图信息以及所述局部关键点的二维坐标输入所述局部估计网络中对应的分支网络，得到每个所述分支网络输出的所述人手对应的关键区域中各关键点的三维坐标；

根据所述人手每个关键区域中各关键点的三维坐标操作所述机械手。

在一种具体实现方式中，所述方法还包括：

从训练数据库中选择人手图像作为训练人手图像，对待训练全局估计网络以及待训练局部估计网络进行迭代训练，得到所述训练人手图像中训练人手对应的各关键区域中各关键点的训练三维坐标；

根据所述训练三维坐标和/或所述训练数据库中与所述人手图像对应的实际三维坐标，计算所述训练人手处于实际手势姿态与所述训练人手处于训练手势姿态之间的，至少一个全局生物特征以及至少一个局部生物特征；

确定每个所述全局生物特征为全局损失函数，并确定每个所述局部生物特征为局部损失函数；

根据各目标损失函数对应的预设权重计算加权损失函数，并根据所述加权损失函数修正所述待训练全局估计网络的网络参数，并根据所述加权损失函数修正所述待训练局部估计网络中各分支网络的网络参数；

若所述加权损失函数满足预设收敛条件，则结束训练并确定所述待训练全局估计网络为所述全局估计网络，以及所述待训练局部估计网络为所述局部估计网络。