[发明专利]一种基于虚拟现实与手势识别的远程呈现交互方法和系统

说明书

本发明一种基于虚拟现实与手势识别的远程呈现交互方法和系统,属于人机交互技术领域。系统包括本地空间中的装备双目摄像头的远程呈现机器人和远程可交互装置，远程空间中的由VR眼镜、智能手机和双目摄像头组成的交互式VR眼镜，连接本地空间和远程空间的无线网络以及计算服务器。远程呈现机器人获取本地空间的两路实时视频图像，通过无线网络传送到远程空间中用户的智能手机上并分屏显示；用户通过VR眼镜和智能手机可以以虚拟现实的方式感知本地空间；远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据，根据用户手的位置以及具体手势与本地空间中的远程可交互装置进行交互。可以使用户获得真正的身临其境的感受和交互体验。

技术领域

本发明涉及一种基于虚拟现实技术和手势识别技术的远程呈现交互方式的设计，尤其涉及一种基于虚拟现实与手势识别的远程呈现交互方法和系统，属于人机交互技术领域。

背景技术

目前，出现了很多远程交互方式和系统，例如视频会议、远程操作机器人以及远程呈现机器人等。这些系统多采用传统的远程交互方式，即用户在远程空间中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间进行交互。这些系统通常是为特定的任务设计并且需要经过训练的操作员进行操作。

随着触屏技术的发展，一些远程交互系统也采用平板电脑、智能手机以及其他移动装置作为交互设备，在现场视频图像上叠加图形用户界面，通过点击图形用户界面上的虚拟按钮来进行交互操作。此外还出现了基于可触摸现场实时视频图像的用户界面，通过远程呈现机器人获取本地空间现场实时视频图像，用户在远程空间通过可触摸现场实时视频图像的用户界面,直接触摸本地空间的现场实时视频图像，实现与本地空间中物体和环境的交互。

虚拟现实技术的发展，使得更加真实和具有现场感的交互方式成为可能。在一些虚拟现实系统中，用户可以通过自然的手势与虚拟现实场景进行交互，但是还不能与真实的场景进行交互。

为实现更加具有沉浸感的远程呈现，我们致力于提出一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和系统。

发明内容

本发明的目的在于克服目前远程交互技术中存在的缺乏沉浸感，交互方式不直观的问题，提出了一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和系统。

本发明的核心思想在于：远程呈现机器人通过双目摄像头获取本地空间的两路实时视频图像，通过无线网络传输到远程空间中的用户的智能手机上并分屏显示；远程空间中的用户通过VR眼镜和智能手机可以以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；用户需要与远程机器人交互时，需要将用户手势的实时视频数据传送给计算服务器，再进行手势识别来控制远程呈现机器人；当用户需要与远程可交互装置交互时，需要先识别该装置，建立视野中远程可交互装置的图像与实际远程可交互装置的对应关系，远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据并识别用户的手势，根据获取的手势数据，在手机屏幕上分屏显示的两路视频图像中，绘制出用户的虚拟手，用户可以通过移动自己的双手来控制虚拟手的移动，通过改变自己的手势来改变虚拟手的手势，从而可以使用虚拟手与本地空间中的远程可交互装置进行远程呈现交互。

一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和系统包括一种基于虚拟现实技术和手势识别技术的远程呈现交互方法和一种基于虚拟现实技术和手势识别技术的远程呈现交互系统；一种基于虚拟现实技术和手势识别技术的远程呈现交互方法，简称本方法，一种基于虚拟现实技术和手势识别技术的远程呈现交互系统，简称本系统；

其中，本系统包括本地空间、远程空间、连接本地空间与远程空间的无线网络以及计算服务器；其中，计算服务器可位于本地空间，也可以位于远程空间，还可以是任意联网的地点；本地空间中又包含远程呈现机器人和远程可交互装置；远程空间中又包含交互式VR眼镜，交互式VR眼镜又包括VR眼镜、智能手机以及双目摄像头；用户位于远程空间；