[发明专利]无标定真三维全景显示与交互装置

权利要求书

1.一种无标定真三维全景显示与交互装置，其特征在于：包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

2.根据权利要求1所述的无标定真三维全景显示与交互装置，其特征在于：所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的记录和分析，可用来模拟和恢复场景。

3.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的支架和云台均是可移动的。

4.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的多个摄像机都能够通过外触发进行图像采集。

5.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的多个摄像机中，每个摄像机与一个图像存储和处理器相连接。

6.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的头盔显示器是封闭式头盔显示器。

7.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的主机进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息的过程如下：

(1)进行图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；

(2)然后进行立体匹配：根据立体匹配的原理，通过两个摄像机对其重叠区域的目标物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；

(3)最后进行差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。

8.一种采用权利要求1所述的无标定真三维全景显示与交互装置的实现显示与交互的方法，其特征在于：

(1)对摄像机进行标定；

(2)进行图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；

(3)图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；

(4)图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上对应的特征点对的图像坐标；

(5)根据所提取的关键信息实时解算人的位置、姿态和动作信息；

(6)更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

9.根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于：所述的步骤(4)中实时解算出人的位置、姿态和动作信息的过程如下：

(1)图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；

(2)立体匹配：根据立体匹配的原理，通过两个摄像机可对其重叠区域的目标物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；

(3)差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。

10.根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于：所述的步骤(3)中图像预处理的方法如下：

(1)多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；

(2)图像存储和处理器对存储的图像进行前景提取，去除背景，得到目标对象即人的轮廓信息。