[发明专利]一种基于VR的高临场视觉感知方法及相关装置

说明书

本申请公开了一种基于VR的高临场视觉感知方法及相关装置，方法包括：获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，深度目标信息包括点云模型和RGB图像，空间位姿信息包括空间位置和姿态信息；基于深度相机、VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；通过逆运动学变换模型根据空间位姿信息调节深度相机的观测角度，得到角度变化量；根据角度变化量以及深度相机与点云模型之间的虚拟距离对RGB图像进行比例缩放，实现目标观测物体的远近感知。本申请能够解决现有基于机械臂的VR高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。

技术领域

本申请涉及VR视觉感知技术领域，尤其涉及一种基于VR的高临场视觉感知方法及相关装置。

背景技术

目前VR与电力机器人的结合主要有两个应用：一是将VR头戴设备仅作为视频观测屏幕，观测远程平台(如，无人机、无人车)上搭载相机返回的视频数据；另一种是将VR头戴设备与作业机器人视觉感知系统相结合，把VR头戴设备的位姿与末端搭载了相机的小型6自由度机械臂相结合，一方面让用户用VR头戴设备控制机械臂末端运动，一方面让用户通过机械臂末端搭载的摄像头观测机械臂末端指向方位的可见光图像。

现有基于机械臂的VR头戴设备不仅受限于机械有效的工作空间较小，还受到机械臂动力学性能的限制，难以实现机械臂对头部运动的高速跟踪，导致明显的延时，从而产生眩晕感，而多自由度的机械臂价格高昂，整体的实用价值低。

发明内容

本申请提供了一种基于VR的高临场视觉感知方法及相关装置，用于解决现有基于机械臂的VR高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。

有鉴于此，本申请第一方面提供了一种基于VR的高临场视觉感知方法，包括：

获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，所述深度目标信息包括点云模型和RGB图像，所述空间位姿信息包括空间位置和姿态信息；

基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；

通过所述逆运动学变换模型根据所述空间位姿信息调节所述深度相机的观测角度，得到角度变化量；

根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知。

优选地，所述基于所述深度相机、所述VR头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型，具体包括：

基于所述深度相机的虚拟观测点位置、所述VR头戴设备的所述空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。

优选地，所述比例缩放的比例为：

其中，l为所述深度相机与所述目标观测物体的距离，d为所述VR头戴设备的移动距离，s为所述VR头戴设备的映射比例。

优选地，所述根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述RGB图像进行比例缩放，实现所述目标观测物体的远近感知，之后还包括：

将比例缩放后得到的所述RGB图像显示在所述VR头戴设备的内置屏幕上供用户观看。

本申请第二方面提供了一种基于VR的高临场视觉感知装置，包括：

图像获取模块，用于获取深度相机采集目标观测物体的深度目标信息和VR头戴设备的空间位姿信息，所述深度目标信息包括点云模型和RGB图像，所述空间位姿信息包括空间位置和姿态信息；