[发明专利]一种基于深度感知的虚拟现实系统空间定位方法

权利要求书

1.一种基于深度感知的虚拟现实系统空间定位方法，其特征在于，包括以下步骤：

S1、基于注视点构建人眼视觉系统的深度感知模型：当用户利用头戴式VR设备观看VR空间的目标时，由基于瞳孔角膜反射技术的视线跟踪算法估计左右眼视线方向，然后利用空间解析几何知识计算这两条视线在空间中的最近点，该点即为人类的视线注视点；将注视点与人眼位置结合构建视觉系统在虚拟空间的深度感知模型；建立视觉系统在虚拟环境中的深度感知模型具体过程如下：

由视线注视点与虚拟空间坐标系统下的双眼中点计算视觉系统的深度感知，公式表述如下：

其中为t时刻左右眼球中心位置，为双眼中心，Q_ht为视觉系统在虚拟空间的深度感知；

S2、基于注视点信息计算目标点位置：分析双目视觉的注视行为和相机成像的透视投影原理，比较两者关系，利用步骤S1计算出的注视点位置建立相对人眼视觉感知的内参矩阵，并依据该内参矩阵计算虚拟空间中3D注视点在图像上的2D投影点位置；然后根据注视点和VR空间中的目标点在2D图像上的投影位置相同的特点，使用注视点的投影位置和虚拟摄像机的参数计算此时注视的目标点在虚拟空间的3D位置，该点即为人类注视的虚拟空间中3D目标点位置；基于视线注视点建立相对视觉感知的内参矩阵具体过程如下：

虚拟摄像机依据透视投影获得3D点和2D投影点的关系，在摄影几何中，虚拟摄像机的透视投影模型如下：

其中(x，y，z)表示虚拟空间中目标点的3D坐标，(x，y，z，1)为其齐次坐标形式，(u，v)为图像上的2D投影点，(u，v，1)为其齐次坐标形式，K表示虚拟摄像机内参矩阵，T为虚拟摄像机外参矩阵；内参矩阵中s_x和s_y表示在图像x轴和y轴上像素的焦距，o_x和o_y表示摄像机主点；在虚拟现实系统中，设定虚拟相机视差和人眼双目视差相同；同时忽略两者之间的偏移量，则虚拟摄像机位置和人眼球位置保持一致；不考虑头部和头盔之间的相对移动，则外参矩阵T相同，由VR系统直接获得；

对比分析虚拟摄像机的透视投影原理和人眼的成像模型，利用虚拟空间中的注视点信息计算相对视觉感知的内参矩阵，所述相对视觉感知的内参矩阵如下：

s_hx＝Q_ht(z)·m_x；

s_hy＝Q_ht(z)·m_y；

o_hxl＝(w_I-d_e·m_x)/2；

o_hxr＝(w_I+d_e·m_x)/2；

o_y＝h_I/2；

m_x＝w_I/w_d；

m_y＝h_I/h_d；

K_h表示相对视觉感知的内参矩阵，s_hx、s_hy分别使用像素来描述x轴和y轴方向上焦距的长度，单位是pixel，o_hx和o_hy表示主点在x轴和y轴上的位置，s_hx、s_hy、o_hx和o_hy与虚拟摄像机参数意义相同；其中参数w_I、h_I、w_d、h_d、d_e分别表示图像的宽和高(pixel)，屏幕的宽和高(mm)以及两眼间距，Q_ht(z)为视觉系统感知的深度距离值；

计算视线注视的虚拟目标点3D位置具体过程如下：

根据视线注视点位置以及相对视觉感知的内参矩阵K_h和外参矩阵T，通过透视投影模型获得左右视差图上的投影点z_tl和z_tr；然后根据注视点和目标点在图像上的投影位置相同的特点，利用投影点和虚拟摄像机的位置和方位参数，由三角测量原理计算投影点的空间位置即目标点由z_tl和z_tr计算空间点，如下所示：

s_tlz_tl＝s_trRz_tr+t；

R，t表示两个虚拟相机之间的变换，由虚拟现实系统得到；s_tl和s_tr表示两个投影点的深度距离；由该式求出双目视差图下的投影点深度，从而确定虚拟目标点的空间坐标和

S3、量化人类视觉系统在虚拟环境中的深度感知和VR系统设定的深度感知的差异：使用虚拟摄像机位置和步骤S2计算出的3D目标点位置获得VR系统设定的深度感知信息；将VR系统设定的深度感知与由注视点获得的视觉系统的深度感知进行比较，量化两者之间的深度感知差异；

量化人类视觉系统在虚拟环境中的深度感知和VR系统设定的深度感知的差异具体过程如下：

在t时刻，双眼通过双目视差图I_tl和I_tr观看目标点时，由于人类视觉系统的参数和VR系统中的虚拟摄像机参数不同，视觉系统形成的深度感知和VR建立的立体效果不同；通过比较视觉系统深度感知和VR系统设定的深度感知，量化两者差异，差异如下所示：

ΔQ_t＝Q_vt-Q_ht；

不考虑头戴式显示设备和头部(HMD-Head)的相对偏移，双目视线的起点与HMD相对位置固定；设定双目虚拟摄像机位置和人的双眼位置相同，即E^V＝P^V；则两者差异简化形式如下所示：

S4、定位感知的自身位置：通过量化的深度感知差异对此时的虚拟摄像机位置进行补偿，得到校正后的空间位置，即为用户感知的自身在虚拟空间的位置，定位感知的自身位置具体过程如下：

步骤S3中量化的深度感知差异即为视觉系统在虚拟和物理环境的深度感知差异，由量化的差值ΔQ_t对此时的虚拟摄像机位置P^V进行补偿，最终得到的空间位置即为用户感知的自身相对虚拟场景的位置如下所示：