[发明专利]一种远程随动立体视觉系统

说明书

本发明提供一种远程随动立体视觉系统，由部署于视频信号采集现场的从动端和部署于用户所在现场的主动端构成，从动端由双目摄像机、视频处理模块、高速云台、云台控制模块和信号传输模块组成，主动端由头戴显示器、头部姿态跟踪模块、数据处理模块和信号传输模块组成。系统通过头部姿态检测模块、云台控制模块、高速云台，将使用者的头部运动“映射”为高速云台的同步运动，同时通过在头戴显示器中显示双目摄像机所拍摄的经过校正、尺度变换后的立体视频，让使用者拥有了具有立体感的符合正常目视习惯的遥视能力，同时使用者通过该系统所看到的视频信号采集现场的景象与实际身处现场裸眼所看到的景象具有一致的视觉感知效果，如深度感、立体感等。

技术领域

本发明属于增强现实、虚拟现实、计算机视觉领域，更具体地说，是一种远程随动立体视觉系统。

背景技术

基于头戴显示器(Head Mounted Display，HMD)、双目摄像机、高速云台的远程随动立体视觉系统主要用于以遥控方式操作大型工程机械在危险环境中进行作业。

与传统的平面显示监控系统相比，远程随动立体视觉系统具有许多优点，如：提供沉浸式立体视觉感知能力、视场大、操作符合正常目视习惯等。

为了保证遥控作业的安全性、高效性，需要确保使用者在主动端通过该系统所看到的远端场景中的物体，与使用者身处远端场景时裸眼看到的物体具有一致或近似的远近关系、大小关系。在虚拟现实中，头戴显示器中显示的场景是通过计算机所建立的模型，这种方式能够保证使用者所看到的场景有着正确的透视关系。但在远程随动立体视觉系统中，头戴显示器所呈现的是通过双目摄像机拍摄到的远端场景视频，远端场景经过摄像机的投影变换、显示器的尺度变换后，其正常的透视关系已经在一定程度上改变。如果直接显示原始视频，使用者将出现“视觉感知不一致”的问题，即通过系统所看到的物体与在真实场景中裸眼看到的物体，在视觉感知中是不一致的，可能会出现物体变大、缩小、距离变远等现象。

而目前对远程随动立体视觉系统的研究，主要集中在整体系统的构建上，如视频采集使用双目摄像机或全景摄像机，随动装置采用机械云台或电子云台，头部跟踪采用惯性跟踪或基于视觉的跟踪等。对于如何处理所显示的视频以保证较好的视觉感知一致性研究相对较少。

发明内容

本发明针对要解决的技术问题：如何对视频图像进行快速处理，使得远程随动立体视觉系统中视觉感知一致。发明了一种具有视觉感知一致性的远程随动立体视觉系统，系统包括主动端和从动端(远端)两部分。

从动端主要由双目摄像机、视频处理模块、高速云台、云台控制模块、信号传输模块等组成；主动端主要由头戴显示器、头部姿态跟踪模块、数据处理模块(电脑)、信号传输模块等组成。系统结构如图1所示。所述的双目摄像机与视频处理模块采用USB2.0接口连接，云台控制模块与高速云台由两个接口连接，视频处理模块与信号传输模块通过RJ45网口连接，云台控制模块与信号处理模块通过串口连接。系统工作流程如下：

步骤一：从动端的双目摄像机能够拍摄从动端的场景并生成实时视频信号，视频信号由视频处理模块编码压缩并通过信号传输模块传输至主动端；

步骤二：视频信号由主动端的数据处理模块解码并在头戴显示器上立体成像、实时显示；

步骤三：用户在主动端佩戴头戴显示器后，其头部的运动能够被头部姿态跟踪设备所检测并通过数据处理模块解析成标准的姿态角数据；

步骤四：姿态角数据通过主动端的信号传输模块传输至云台控制模块，并控制高速云台的运动；从而将用户头部的运动“映射”为高速云台的同步运动，进而带动云台上的双目摄像机同步运动；

系统的头戴显示器在显示视频时，有如下步骤：

步骤一：通过摄像机立体标定，获取双目摄像机在某分辨率情况下的左右摄像头在X轴方向上、Y轴方向上像素焦距：