[发明专利]一种基于虚拟现实与手势识别的远程呈现交互方法和系统

权利要求书

1.一种基于虚拟现实技术和手势识别技术的远程呈现交互方法,其特征在于：包括如下步骤：

步骤一、现场实时视频图像的获取，具体为：通过远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像，即：机器人头部装备的双目摄像头来获取两路本地空间的现场实时视频图像；

其中，两路本地空间的现场实时视频图像分别由双目摄像头的左方摄像头和右方摄像头拍摄得到；

步骤二、用户以虚拟现实的方式感知本地空间，具体为：无线网络将步骤一中远程呈现机器人获取的两路现场实时视频图像传送到远程空间的智能手机上，并进行分屏显示，即智能手机的屏幕左方显示远程呈现机器人上的双目摄像头中左方摄像头拍摄的图像，智能手机的屏幕右方显示远程呈现机器人上的双目摄像头中右方摄像头拍摄的图像；远程空间中的用户通过VR眼镜和智能手机就能够以虚拟现实的方式感知本地空间，获得真正的身临其境的感受；

步骤三、根据用户需求决定通过手势与远程呈现机器人还是远程可交互装置进行交互，具体为：

3.A、若用户需求是与远程呈现机器人交互，具体为：

步骤3.A1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；

步骤3.A2通过无线网络将获取的两路用户手势的实时视频数据发送给计算服务器；

步骤3.A3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；

步骤3.A4根据手势识别的结果来控制远程呈现机器人前进、后退、左转以及右转；

3.B、若用户需求是与远程可交互装置交互，具体为：

步骤3.B1通过交互式VR眼镜上的双目摄像头获取用户手势的两路实时视频数据；

步骤3.B2通过无线网络将获取的两路实时视频数据发送给计算服务器；

步骤3.B3在计算服务器上利用立体视觉的方法恢复用户手势的三维信息，并进行手势识别；同时远程呈现机器人获取的两路本地空间的视频数据也发送到计算服务器上，同样利用立体视觉的方法恢复本地空间的三维信息；

步骤3.B4在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；

具体为：通过恢复用户手势的三维信息，可以得到用户的手相对于用户的空间位置，根据用户的手相对于用户的空间位置可以得到虚拟手相对于远程呈现机器人的位置，从而可以在本地空间的三维信息中融入虚拟手的三维信息，并在对应的本地空间的二维图像中绘制出虚拟手；

步骤3.B5用户通过移动自己的双手来控制虚拟手的移动，根据本地空间的三维信息以及虚拟手的位置，判断虚拟手是否碰到了本地空间的远程可交互装置，并在虚拟手碰到本地空间的远程可交互装置时，使用步骤3.B3手势识别的结果来操作远程可交互装置。

2.如权利要求1所述的一种基于虚拟现实技术和手势识别技术的远程呈现交互方法依托的远程呈现交互系统,其特征在于：包括本地空间、远程空间、连接本地空间与远程空间的无线网络以及计算服务器；

其中，计算服务器可位于本地空间，也可以位于远程空间，还可以是任意联网的地点；本地空间中又包含远程呈现机器人和远程可交互装置；远程空间中又包含交互式VR眼镜，交互式VR眼镜又包括VR眼镜、智能手机以及双目摄像头；用户位于远程空间；远程可交互装置具有三个属性:标识、驱动器、无线通讯网络；

其中，标识是指独一无二的特征，可用计算机视觉的方法识别；驱动器是指电机、继电器将电能到机械能或其它能量形式的转化；无线通讯网络包括Wifi；

其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，提取的图像特征包括颜色、纹理、表观和形状；如果上述图像特征相同，即识别外观相同的两个远程可交互装置时，需要识别装置所处的位置以区分这两个装置，或用定位技术获取装置的位置参数；

本系统的各组成部分的连接关系如下：

本地空间和远程空间通过无线网络连接；计算服务器与本地空间和远程空间通过无线网络连接；

本系统的各组成部分的功能如下：

计算服务器的功能是恢复用户手势及本地空间的三维信息以及进行手势识别；

本地空间中的远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分和识别装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；

本地空间中的远程呈现机器人的功能是在本地空间移动，获取本地空间的实时视频图像；

远程空间中的交互式VR眼镜的功能是在远程空间提供给用户以虚拟现实的方式感知本地空间，并通过手势与本地空间中的远程可交互装置进行交互。