[发明专利]基于透明屏幕的手持式增强现实显示方法及装置

权利要求书

1.一种基于透明屏幕的手持式增强现实显示方法，其特征在于：所述方法是通过后置视觉传感器(107)、后置深度传感器(108)分别实时采集透明屏幕(506)后方的目标物体(501)的数字图像、深度数据，同时通过前置视觉传感器(102)、前置深度传感器(103)分别实时采集透明屏幕(506)前方的用户眼球(510)的数字图像、深度数据，经过计算得到用户眼球(510)与目标物体(501)在透明屏幕(506)上的交点并实时显示增强信息的过程，具体包括如下步骤：

1)通过后置视觉传感器(107)实时采集透明屏幕(506)后方的真实场景的数字图像，并通过后置深度传感器(108)实时采集物体深度数据，利用模式识别算法分割和识别该场景的目标物体(501)，获得目标物体(501)的图像位置数据，得到物体的图像坐标为(m_u,m_v)，深度数据为m_d；

同时通过前置视觉传感器(102)、前置深度传感器(103)分别实时采集透明屏幕(506)前方的用户眼球(510)的数字图像、深度数据，设左眼球、右眼球的图像坐标分别为(l_u,l_v)、(r_u,r_v)，深度数据分别为m_l、m_r；取左眼球与右眼球之间的中间点的图像坐标(e_u,e_v)及其对应的深度数据m_e代表用户眼球(510)的位置，则：

2)分别计算目标物体(501)在后置视觉传感器(107)的摄像机坐标系(505)三维坐标和用户眼球(510)在前置视觉传感器(102)的摄像机坐标系(509)三维坐标；

计算目标物体(501)在后置视觉传感器(107)的摄像机坐标系(505)三维坐标(m_x,m_y,m_z)的计算公式为：

其中，函数norm()表示向量归一化函数，K_c为后置视觉传感器(107)的内部参数矩阵，f_x和f_y是后置视觉传感器(107)在两个方向的焦距,s是后置视觉传感器(107)的倾斜参数，(u₀,v₀)是后置视觉传感器(107)主点坐标；

计算用户眼球(510)在前置视觉传感器(102)的摄像机坐标系(509)三维坐标(e_x,e_y,e_z)的计算公式为：

其中，函数norm()表示向量归一化函数，f′_x和f′_y是前置视觉传感器(102)在两个方向的焦距,s′是前置视觉传感器(102)的倾斜参数，(u′₀,v′₀)是前置视觉传感器(102)主点坐标，K′_c为前置视觉传感器(102)的内部参数矩阵；

3)分别计算目标物体(501)和用户眼球(510)在屏幕中心的世界坐标系(508)中的三维坐标；

计算目标物体(501)在屏幕中心的世界坐标系(508)中的三维坐标(M_x,M_y,M_z)的计算公式为：

其中，[d_x,d_y,d_z]^T为后置视觉传感器(107)的摄像机坐标系(505)原点与屏幕中心的世界坐标系(508)原点的差值；

计算用户眼球(510)在屏幕中心的世界坐标系(508)中的三维坐标(E_x,E_y,E_z)的计算公式为：

其中，[n_x,n_y,n_z]^T为前置视觉传感器(102)的摄像机坐标系(509)原点与屏幕中心的世界坐标系(508)原点的差值；

4)计算目标物体(501)与用户眼球(510)连线在屏幕(506) 上的交点(514)的三维坐标；

计算目标物体(501)与用户眼球(510)连线在屏幕(506)上的交点(514)的三维坐标(Q_x,Q_y,Q_z)的计算公式为：

5)计算目标物体(501)与用户眼球(510)连线在屏幕上的交点(514)的屏幕坐标；计算目标物体(501)与用户眼球(510)连线在屏幕(506)上的交点(514)的屏幕坐标(S_x,S_y)的计算公式为：

其中，D_x、D_y分别为透明屏幕(506)水平和垂直方向像素数，W、H分别为透明屏幕(506)的宽度和高度。

2.一种基于权利要求1所述的基于透明屏幕的手持式增强现实显示方法的装置，其特征在于：包括信息采集模块(201)、信息处理模块(202)和信息显示模块(203)；

所述信息采集模块(201)包括设置于透明屏幕(506)的前面板(101)上的前置视觉传感器(102)、前置深度传感器(103)、前置亮度传感器(104)和设置于透明屏幕(506)的后面板(106)上的后置视觉传感器(107)、前置深度传感器(108)、前置亮度传感器(109)，所述信息采集模块(201)采集数据，所述采集数据包括通过后置视觉传感器(107)、后置深度传感器(108)分别实时采集透明屏幕(506)后方的目标物体(501)的数字图像、深度数据，同时通过前置视觉传感器(102)、前置深度传感器(103)分别实时采集透明屏幕(506)前方的用户眼球(510)的数字图像、深度数据；

所述信息处理模块(202)用于对信息采集模块(201)采集数据进行处理，计算计算目标物体(501)与用户眼球(510)连线在屏幕上的交点(514)的屏幕坐标；

所述信息显示模块(203)包括透明屏幕(506)，用于显示从信息采集模块(201)和信息处理模块(202)获取的信息。