[发明专利]一种基于感知增强的机械手遥操作方法及系统

摘要

本发明涉及一种基于感知增强的机械手遥操作方法及系统，属于机械手控制技术领域；其中，方法包括：识别出人手在运动过程中指尖与掌心的位置信息；将位置信息映射成机械手操作指令；接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景。通过深度摄像头与手部标记的方式，简单快捷地获取手部运动数据，并通过压力反馈与视觉反馈增强遥操作过程的感知，使操作人员在远程控制过程中获取到更多的信息，帮助优化远程操作效果。

主权项

1.一种基于感知增强的机械手遥操作方法，其特征在于：/n动作识别步骤，识别出人手在运动过程中指尖与掌心的位置信息；具体而言，接收由Kinect获取人手在运动过程中的彩色图像、深度图像及骨骼数据；依据骨骼数据，获取人手掌心的位置信息；依据深度图像、彩色图像及掌心的位置信息，识别出设于人手指尖上的彩色标记，获取包括指尖三维坐标信息的人手指尖位置信息；/n动作映射步骤，将位置信息映射成机械手操作指令；具体而言，依据连续获取的位置信息，将人手动作归类为移动、静止、抓取及释放四种语义，再将语义信息映射成机械手操作指令；/n压力反馈步骤，接收机械手上压力传感器的压力数据，并依据压力数据控制人手处振动器的振动强度；其中压力传感器被布置在机械爪的指尖；/n视觉反馈步骤，接收布置在机械手周围两台以上的深度摄像机所获取机械手工作台的图像信息，构建3D实时操作场景；具体而言，所述深度摄像机为Kinect；依据Kinect获取的深度图像、彩色图像，构建不同方向的3D点云数据；依据Kinect获取的深度图像、彩色图像，识别出机械手工作台上布置的标记；通过标记进行定标，将不同方向的3D点云数据融合成3D图像模型；通过ICP算法对3D图像模型进行优化。/n