[发明专利]基于体感设备的人机交互集成装置

说明书

技术领域

本发明属于人机交互技术领域，具体涉及一种基于体感设备的人机交互集成装置。

背景技术

虚拟现实，简称VR技术，是利用计算机模拟产生的三维空间，提供使用者视觉，听觉，触觉等感官的模拟，让使用者如同身临其境一般体验虚拟的世界。虚拟现实(VR)的概念从上世纪50年代提出以来，引起广泛关注，并且随着硬件技术和视频技术日益成熟，VR产业开始启动商业化进程。在裸眼3D显示中嵌入识别跟踪的功能，将给予人们一种全新的人机交互VR体验，如在游戏、社交等领域方面的应用，特别是可实现深度拓展的裸眼3D显示技术，有望成为真正实用的新一代产品。国务院发布的“十三五”规划中也指出，加强内容和技术装备协同创新，加快裸眼3D等核心技术创新发展。

传统的人机交互方式大多依赖于鼠标、键盘等接触式设备，而新型的人机交互方式包括人脸识别、手势识别、体感识别等，已经成为一项研究热点。如今的手势识别技术可分为可穿戴设备的手势识别和基于图像处理的手势识别，对于该两种识别方法，存在以下特点：

(1)对于手势识别方法而言，其具有的识别精度、效率高，但是相应地也有成本高、维护难、实际应用不方便等缺点；

(2)对于基于图像处理的手势识别方法，由于其更多地依赖于算法，而不是硬件去实现，成本较低，有更好的市场前景，常见的有基于摄像头或Leap motion的手势识别技术。Leap motion可用于识别丰富的手势动作，但是无法像Kinect一样获得全身体感交互体验。而像Kinect,Xtion,Real sense等这一类体感交互设备拥有较长距离体感交互的优势，可以对用户的全身动作进行跟踪识别。在Kinect的舒适范围内其骨骼追踪效果可以达到毫米级，但在较近距离处会出现视觉盲区，并且在手势识别方面准确率不高。

发明内容

为了解决单一体感装置距离上和识别精确度上的缺陷问题，本发明的目的在于提供一种基于体感设备的人机交互集成装置，克服远近距离体感识别与识别精度的困难，实现了远距离、近距离以及各种手势或者工具的识别操作，大大提升了3D虚拟现实的人机交互的体感享受。

为实现上述目的，本发明按以下技术方案予以实现：

本发明所述基于体感设备的人机交互集成装置，包括：

Kinect摄像头，用于获取用户的骨骼图像信息和深度图像信息；

Leap Motion体感设备，用于获取用户的手部或工具图像信息；

摄像头，用于获取位于Kinect摄像头视觉盲区的图像信息，位于所述Kinect摄像头的一侧；

处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；

显示终端，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作；

所述Kinect摄像头安装于所述显示终端的顶部；所述Leap Motion体感设备与处理终端连接。

进一步地，所述处理终端包括接收单元、计算处理单元和发送单元；所述接收单元用于接收所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；所述计算处理单元用于计算并处理以上所述图像信息；所述发送单元用于将已经计算并处理后的图像信息发送至显示终端。

进一步地，所述计算处理单元用于计算并处理所述图像信息，具体是：对所述图像信息进行颜色空间分离、滤波及分割提取轮廓处理，获取特征点，以判别进入具体模式的处理。

进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出人体手指或手心的特征点空间分布，综合各时刻特征点的空间分布，计算手指或手心的特征点的运动放向、速度与加速度，与其预存的手势进行匹配，判断出使用者的目标动作，用于实现3D键盘的处理。

进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出持笔的手的特征点空间分布，综合各时刻特征点的空间分布，在显示终端上描绘出特征点的三维运动轨迹，并且摄像头对另一只手的手势动作进行识别，实现模式启动，模式切换或模式终止功能，用于实现3D画板的处理。

进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出双手特征点的空间分布，综合各时刻特征点的空间分布，当一定时间段内特征点的变化量少于阈值，将检测结果与其预存的手势进行匹配，判断出使用者的目标动作，实现3D模型的旋转、平移或放缩操作，或对3D模型的特定部位进行选取，用于实现3D模型手势控制的处理。