[发明专利]一种基于虚拟现实与手势识别的远程呈现交互方法和系统

摘要

本发明一种基于虚拟现实与手势识别的远程呈现交互方法和系统,属于人机交互技术领域。系统包括本地空间中的装备双目摄像头的远程呈现机器人和远程可交互装置，远程空间中的由VR眼镜、智能手机和双目摄像头组成的交互式VR眼镜，连接本地空间和远程空间的无线网络以及计算服务器。远程呈现机器人获取本地空间的两路实时视频图像，通过无线网络传送到远程空间中用户的智能手机上并分屏显示；用户通过VR眼镜和智能手机可以以虚拟现实的方式感知本地空间；远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据，根据用户手的位置以及具体手势与本地空间中的远程可交互装置进行交互。可以使用户获得真正的身临其境的感受和交互体验。

主权项

一种基于虚拟现实技术和手势识别技术的远程呈现交互方法,其特征在于：远程呈现机器人通过双目摄像头获取本地空间的两路实时视频图像，通过无线网络传输到远程空间中的用户的智能手机上并分屏显示；远程空间中的用户通过VR眼镜和智能手机可以以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；用户需要与远程机器人交互时，需要将用户手势的实时视频数据传送给计算服务器，再进行手势识别来控制远程呈现机器人；当用户需要与远程可交互装置交互时，需要先识别该装置，建立视野中远程可交互装置的图像与实际远程可交互装置的对应关系，远程空间中交互式VR眼镜上的双目摄像头获取用户的手势数据并识别用户的手势，根据获取的手势数据，在手机屏幕上分屏显示的两路视频图像中，绘制出用户的虚拟手，用户可以通过移动自己的双手来控制虚拟手的移动，通过改变自己的手势来改变虚拟手的手势，从而可以使用虚拟手与本地空间中的远程可交互装置进行远程呈现交互。