[发明专利]无标定真三维全景显示与交互装置

说明书

技术领域

本发明涉及一种无标定真三维全景显示与交互装置及方法，属于计算机视觉和人机交互领域。

背景技术

沉浸是使人具有真实感并获得体验的根本，而交互是实现人机和谐的关键。虚拟场景的显示和交互是虚拟现实的核心所在，目前显示部分主要通过各种不同的显示设备实现，如立体显示器、柱幕或环幕系统、CAVE系统，以提供给人沉浸感；而交互主要通过各种输入设备如数据手套、光学标志点、位置跟踪器等实现。如要跟踪人头部的运动，需要专门的位置跟踪器，体积大，价格高，且有较大的重量，使用不方便。而人如果要用手与虚拟场景交互，必须戴数据手套，也只能捕捉几个自由度的信息，不够灵活。在人体位置和姿态动作的捕捉和识别方面，目前也有做的，但都有标定。

发明内容

本发明所要解决的技术问题是：克服现有技术存在的不足，提供一种可以实现无标定真三维全景显示和交互的装置及方法，无须对观察者进行标定，观察者在工作空间内可以自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和灵活性。

本发明的技术解决方案：一种无标定真三维全景显示与交互装置，包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像通过进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的记录和分析，可用来模拟和恢复场景。

本发明的另一目的是提供一种无标定真三维全景显示与交互方法，其步骤如下：

(1)对摄像机进行标定；

(2)进行图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；

(3)图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；

(4)图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上对应的特征点对的图像坐标；

(5)根据所提取的关键信息实时解算人的位置、姿态和动作信息；

(6)更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

本发明与现有技术相比的优点在于：

(1)本装置可容纳多人同时在工作空间内，观察者可以自然的在三维空间内运动，实现了真三维的效果；

(2)由于设置了多个摄像机，从而可以在无须对观察者进行标定的情况下，通过图像的采集和模式识别技术实时获取观察者的头部和手部的位置、姿态和动作信息，实现了跟踪和定位；

(3)观察者转动头部和身体以改变视点，所看到的场景即计算机生成的虚拟世界将实时发生变化；

(4)观察者可以以自然的方式直接与虚拟环境中的对象进行交互操作。

总之，本发明创建了一个酷似客观环境又超越客观时空、既能够沉浸其中又能驾驭其上的和谐的人机交互环境，即一个由多维信息所构造的可操纵的立体空间，其主要目标是实现人类在计算机控制的虚拟环境中获得最真实的体验，且以方便自然的方式进行人与环境之间的交互。观察者不用透过外部显示器，而能够直接沉浸在计算机控制下的虚拟环境当中，如同人类日常生活在真实世界一样。

附图说明

图1是本发明装置的结构示意图；

图2是本发明的方法流程图。

具体实施方式