[发明专利]基于多信息融合的人手协同灵巧手的伺服操作系统及其方法

摘要

本发明公开了一种基于多信息融合的人手协同灵巧手的伺服操作系统及其方法，系统包括：人手柔性可拉伸传感器、灵巧手柔性可拉伸传感器、柔性力触觉传感器、无线传输模块、灵巧手控制模块和计算机模块；计算机模块包括：手势捕捉模块、手势映射模块和抓取状态识别模块。本发明通过将柔性可拉伸传感器布置于机器人灵巧手的关节处以及布置于穿戴于人手的柔性手套关节处，并将力触觉传感器布置于灵巧手指尖处，能实现人手和灵巧手操作手势的精准协同以及感知灵巧手对目标物体的抓取状态，支持人手控制灵巧手进行稳定抓取目标物体。

主权项

1.一种基于多信息融合的人手协同灵巧手的伺服操作系统，其特征包括：人手柔性可拉伸传感器、灵巧手柔性可拉伸传感器、柔性力触觉传感器、无线传输模块、灵巧手控制模块和计算机模块；所述计算机模块包括：手势捕捉模块、手势映射模块和抓取状态识别模块；所述人手柔性可拉伸传感器设置在柔性手套的关节处并穿戴于人手，用于采集人手操作时的人手关节角度特征，并通过所述无线传输模块发送给所述手势捕捉模块；所述手势捕捉模块对所述人手关节信息进行手势捕捉，得到人手手势信息并传递给所述手势映射模块；所述灵巧手柔性可拉伸传感器设置在机器人灵巧手的关节处，用于采集灵巧手操作时的灵巧手关节角度特征，并通过所述无线传输模块发送给所述手势捕捉模块；所述手势捕捉模块对所述灵巧手关节信息进行手势捕捉，得到灵巧手手势信息并传递所述手势映射模块；所述手势映射模块根据所接收到的人手手势信息和灵巧手手势信息，计算灵巧手所需的期望驱动值，从而建立手势映射离线模型；所述手势映射模块获取人手手势的当前信息，利用所述手势映射模型获得灵巧手的当前期望驱动值并发送给所述灵巧手控制模块用于驱动灵巧手抓取目标物体；所述柔性力触觉传感器设置在机器人灵巧手的指尖处内侧，用于采集灵巧手抓取目标物体的压力信息，并通过所述无线传输模块传递给所述抓取状态识别模块；在所述抓取状态识别模块设置抓取状态包括：滑动状态、晃动状态和稳定状态；再根据所接收的压力信息，利用支持向量机对所述抓取状态建立离线分类识别模型；所述抓取状态识别模块利用所述柔性力触觉传感器获取当前压力信息，并利用所述抓取状态离线识别模块，得到当前抓取状态并进行判断，若当前抓取状态为稳定状态，则停止驱动灵巧手手指近指关节，保存并显示灵巧手的当前驱动值，若当前抓取状态为滑动状态，则利用所述手势映射模块得到灵巧手的下一个期望驱动值并发送给所述灵巧手控制模块；若当前抓取状态为晃动状态，则重新进行人手操作和灵巧手操作，并重新采集和捕捉。