[发明专利]一种基于多传感器融合的非接触式机器人人机交互系统

摘要

本发明提供了一种基于多传感器融合的非接触式机器人人机交互系统，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端。本发明融合多种传感器，可实现通过操作者的手臂以及手部动作直接控制机器人，降低了对操作者的空间束缚以及操作技巧的要求，有效提高了人机交互的自然性；构建了基于Unity3D游戏引擎的机器人虚拟场景，能够实时渲染机器人的运动状态，辅助操作者快速调整动作，让操作者直观的感受遥操作过程；加入了振动反馈设备，在遥操作过程关键时间点为操作者提供振动反馈，可提高系统人机功效，同时增加遥操作安全性和可靠性。

主权项

一种基于多传感器融合的非接触式机器人人机交互系统，其特征在于，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端；所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；所述数据通信装置用于接收微处理器测量控制装置输出的数据，并传送至PC终端；所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；所述Kinect体感设备用于测量人手手臂的关节位置信息并传输至PC终端；所述PC终端包括数据显示模块、手臂运动解算模块、手部动作识别模块、机器人运动逆解算模块和虚拟场景渲染模块；所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况，将其用于机器人末端机械手爪的开合控制；所述机器人运动逆解算模块将所述运动轨迹映射到机器人的运动坐标系中，通过逆解算计算出机器人的关节角，将其用于机器人控制；所述虚拟场景渲染模块构建出机器人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的机器人的关节角，实时渲染机器人的运动状态，在接收到机器人运动逆解算模块提供的各关节目标角度后，虚拟机器人转动到相应的角度。