[发明专利]实现高分辨率增强现实系统的方法

说明书

  

技术领域

本发明属于视频处理技术领域，特别是一种实现高分辨率增强现实系统的方法。 

背景技术

目前，在视频游戏等领域，出现了采用深度摄像头的视频应用系统，如微软公司视频游戏机Xbox360的体感游戏外设Kinect。上述视频应用系统通常被称为增强现实系统（Augmented Reality，AR）。与传统的摄像头只能提取二维画面不同，深度摄像头的特点在于可以快速提取空间的深度信息，构建空间和物体的三维坐标，比如人体肢体动作识别和物体追踪等。利用深度摄像头，上述使用增强现实系统的体感游戏可以对游戏机前方的用户进行定位，并根据其做出的动作，在游戏系统中进行特定的反馈并由电视机输出相应的视频，从而使用户能够仅利用肢体动作即可游玩游戏。 

深度摄像头的主要实现方式包括结构光方法和光反射方法。结构光方法中，摄像头通过发射特定的图样（PATTERN），并根据拍摄后的图像进行解码，从而获取每个图样在图像中对应的位置。假设原始图样坐标为A，成像后的坐标为B，由摄像头的成像特性可知，存在一个单应矩阵H，使得A=HB成立。根据摄像头的内部畸变参数和单应矩阵H，可以准确的计算出当前图样和摄像头的空间相对位置。当所有的图样都被解析出以后，即可恢复整个画面的深度信息。光反射法基于光速，它是利用测量光的发射和反射时间差，计算在此时间内走的光程，dist=c*(t2-t1)。算法原理比结构光方法更简单，但对硬件的响应速度要求更高。 

但是，由于硬件成本的等各方面的原因，具有深度摄像头的装置，其摄像头的分辨率往往不高，难以满足大屏幕视频等复杂场景的需要，而具有较高分辨率的摄像装置，又不具备深度摄像头的功能。因此，有必要提供一种利用现有装置来实现具有高分辨率的增强现实系统。 

  

发明内容

本发明所要解决的技术问题在于提供一种视频处理技术，特别是一种实现高分辨率增强现实系统的方法。 

本发明的目的是通过以下技术方案来实现的： 

一种实现高分辨率增强现实系统的方法，所述方法包括以下步骤：

步骤a. 标定深度摄像头的内部参数、高分辨率摄像装置的内部参数及畸变参数；

步骤b. 固定所述深度摄像头与所述高分辨率摄像装置，获取所述深度摄像头与高分辨率摄像装置之间的相对位置；

步骤c. 同步捕获所述深度摄像头与高分辨率摄像装置的数据；

步骤d. 利用深度信息，获取特征信息点；

步骤e. 恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标；

步骤f. 将所述三维坐标投射到所述高分辨率摄像装置的图像坐标系中。

在本发明的技术方案中，所述步骤a具体包括： 

采用针孔摄像头成像模型：

上式中，u,v为图像坐标，X,Y,Z为世界坐标，

所述深度摄像头的内部参数为：

镜头几何校正公式如下：

。

在本发明的技术方案中，所述内部参数和畸变参数的获取具体包括：对所述深度摄像头与高分辨率摄像装置做标定，打印标定模板，在所述深度摄像头的视野范围内做多角度旋转和平移，拍摄图像，计算图像中的特征信息点，依据标定模板的实际尺寸，获取所述深度摄像头与高分辨率摄像装置的畸变参数和内部参数。 

在本发明的技术方案中，所述步骤b中，所述深度摄像头与高分辨率摄像装置为刚体连接，且平行安装。 

在本发明的技术方案中，所述步骤c中，所述深度摄像头与高分辨率摄像装置采集数据的帧速相同。 

在本发明的技术方案中，所述步骤d具体包括： 

设所述特征信息点坐标为Head3D，在所述深度摄像头图像中的坐标为(u_h, v_h)，距离所述深度摄像头的距离为z_h，则有：

F_d = (u_h, v_h , z_h)

上式中，u_h和v_h的单位为像素，z_h的单位为毫米。

在本发明的技术方案中，所述步骤e具体包括：将所述特征信息点映射到所述高分辨率摄像装置上，恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标Head3D为： 

Head3D.x = (u_h - cx_d) * z_h/fx_d

Head3D.y = (v_h- cy_d) * z_h/fy_d

Head3D.z = z_h。