[发明专利]基于多感知数据融合的人机自然交互系统

摘要

本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

主权项

1.一种基于多感知数据融合的人机自然交互系统，其特征在于：包括用于采集手臂关节角信息和手臂运动轨迹的MEMS手臂跟踪装置、用于采集图像信息和手指的运动轨迹的视觉跟踪装置，以及安装在操作者的手掌上的用于给手指提供反馈力的力反馈装置，上述各装置由PC终端控制，所述PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；其中，MEMS手臂跟踪装置与手臂运动解算模块连接，视觉跟踪装置与图像处理模块连接，力学解算模块与手臂运动解算模块连接；所述虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和虚拟手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量，并将期望反馈力矢量发送至力反馈装置。