[发明专利]一种虚拟现实交互的实现方法、系统及MR手套

说明书

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种虚拟现实交互的实现方法、系统及MR手套。

背景技术

虚拟现实(VR，VirtualReality)技术是利用电脑或其他智能计算设备为核心，结合光电传感技术生成逼真的视、听、触一体化的特定范围内虚拟的环境。在VR系统中主要包括输入设备和输出设备。而头戴式显示器(HMD，HeadMountDisplay)是一种虚拟现实显示输出设备，形如眼镜，通过感应人的眼部活动，接受指令，呈现图像，可直接在眼镜上现实各种数据提供给用户，它配合对应的输入设备的交互，能够让用户产生独立封闭的沉浸式交互体验。

在现有技术中，VR系统中基于2D或者3D摄像头，均能实现手势交互，但是通常，VR系统可以将采集的图像实时显示在HMD上给予用户沉浸感，但是没有触碰感，沉浸感不强，降低产品对用户的吸引力。

发明内容

基于此，有必要提供一种虚拟现实交互的实现方法，包括：

将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；

当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR（Mixed reality）手套；

将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。

在其中一个实施例中，所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作；

所述将所述响应动作作用在所述标识信息对应的手指上包括：

将震动、加压、收紧、加热、冷却中的一种或几种动作，作用在所述标识信息对应的手指上。

在其中一个实施例中，所述响应动作还包括发光；

所述将所述响应动作作用在所述标识信息对应的手指上包括：控制所述标识信息对应的手指上发光。

在其中一个实施例中，所述将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置包括：

3D摄像头发射结构光或红外激光扫描场景物体，3D摄像头的接收器接收物体反射光，捕捉人体深度数据，并提取人体骨骼数据；

利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。

在其中一个实施例中，所述将触碰感交互需求信息及所述手指的标识信息发送给MR手套包括：

通过蓝牙或wifi通讯方式，将触碰感交互需求信息及所述手指的标识信息发送给MR手套。

在其中一个实施例中，所述当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及所述手指的标识信息发送给MR手套的步骤之前，还包括：

接收MR手套发送的用户手部的加速度、角速度及角度数据。

本发明还提供了一种虚拟现实交互的实现系统，包括：

3D摄像头、上位机和MR手套；其中，

所述3D摄像头，用于捕捉用户的身体骨骼数据；

所述上位机内设置有虚拟现实客户端，用于将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；

所述上位机，还用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及所述手指的标识信息发送给MR手套；

所述MR手套，用于将接收到的所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。

在其中一个实施例中，所述响应动作包括震动、加压、、收紧、加热、冷却中的一种或几种动作；所述MR手套还用于，将震动、加压、收紧、加热、冷却中的一种或几种动作，作用在所述标识信息对应的手指上。

在其中一个实施例中，所述响应动作还包括发光；

所述MR手套还用于，控制所述标识信息对应的手指上发光。

在其中一个实施例中，所述3D摄像头包括3D深度摄像头和接收器；

所述3D深度摄像头，用于发射结构光或红外激光扫描场景物体；

所述接收器，用于接收物体反射光，捕捉人体深度数据，并提取人体骨骼数据；