[发明专利]基于多感知数据融合的人机自然交互系统

说明书

本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

技术领域

本发明涉及人机自然交互系统，尤其涉及一种基于多感知数据融合的人机自然交互系统。

背景技术

自从计算机发明以后，各种人机交互设备应运而生。从字符、键盘到鼠标的发明，再到多媒体交互设备、语音识别技术、脑电检测技术的出现，人机交互手段不断创新，越来越趋于自然化、智能化。

然而，人体的运动涉及很多部位，包括人整个身体的运动或某个部位的运动，如手部运动、腿部运动或者头部运动，甚至人的表情、手势等。这些运动分别具有自己的特点和不同的复杂度，所用的识别手段以及研究方法也都不同。对于传统的人机交互设备，它们尽管在某些方面性能优越，但也各有局限性。如：基于视觉信息的人机交互设备虽然可以实现较高精度的非接触式交互，但其算法复杂的也较高，计算量大，实时性较差；基于MEMS传感器的人机自然交互系统探测实时性较强，但传感器必须与操作者接触安装，不利于安装在关节密集的部位；基于超声波定位的人机交互设备探测距离较远，但容易受到障碍物影响，抗干扰性差。

发明内容

发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种可有效提高人机交互效率、增强操作者的临场感的基于多感知数据融合的人机自然交互系统。

技术方案：一种基于多感知数据融合的人机自然交互系统，包括用于采集手臂关节角信息和手臂运动轨迹的MEMS手臂跟踪装置、用于采集图像信息和手指的运动轨迹的视觉跟踪装置，以及安装在操作者的手掌上的用于给手指提供力反馈力的反馈装置，上述各装置由PC终端控制，所述PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；其中，MEMS手臂跟踪装置与手臂运动解算模块连接，视觉跟踪装置与图像处理模块连接，力学解算模块与手臂运动解算模块连接；所述虚拟场景渲染模块根据计算出的手臂运动轨迹和手指运动轨迹生成虚拟手臂和虚拟手指，所述力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量，并将力反馈数据发送至力反馈装置。

优选的，所述MEMS手臂跟踪装置包括三个分别用于测量肩、肘、腕三个关节的欧拉角的MEMS传感器；所述视觉跟踪装置为双目摄像头；所述力反馈装置包括直流电机、力传感器和机械手柄。

所述碰触信息包括碰触方式、速度、角度、力度和纹理反馈中的一种或多种。

所述PC终端还包括用于显示测量参数的数据显示模块。

工作原理：操作者手臂运动时，本发明采集其手臂各个关节的欧拉角，以及操作者手部的图像，将数据发送至PC终端；PC终端根据欧拉角和虚拟手臂的大臂、小臂和手掌的尺寸解算出手掌末端的运动轨迹，根据手部图像解算出手指的运动轨迹；最终，操作者手臂和手指各个关节的运动被并映射到虚拟手臂上，使虚拟手臂做出相应的动作。因此，操作者可以与虚拟场景中的物体进行交互，PC终端的力学解算模块可根据实时交互信息计算力反馈数据并发送到力反馈模块，为用户提供力反馈。

有益效果：与现有技术相比，本发明具有如下显著优势：首先，本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，本发明可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，本发明可为操作者提供力反馈，增强系统的临场感、交互性。

附图说明