[发明专利]一种低延迟虚拟现实显示方法及显示系统

说明书

本发明提供一种低延迟虚拟现实显示方法及显示系统，该方法和系统主要是根据全景现实视频最新采集的视频帧即第N个视频帧，然后根据第N‑1视频帧生成第N个虚拟视频帧，计算虚拟视频帧与第N个视频帧之间的残差，根据残差、用户运动信息及第N个视频帧又生成第N+1个虚拟视频帧，并对其进行渲染，然后根据渲染结果对显示器的屏幕进行刷新，进而提高屏幕刷新频率，降低全景真实图像与虚拟图像的延迟率，克服视频抖动问题。

技术领域

本发明属于虚拟现实显示领域，特别涉及一种低延迟虚拟现实显示方法及显示方法。

背景技术

虚拟现实系统是本领域所公知的，这种系统针对一用户产生响应于该用户运动的虚拟世界。近年来，虚拟现实技术迅速发展，其包括用于穿戴的各种类型的虚拟眼镜以及多个显示器。虚拟世界由三维模型组成，通过计算机生成或从真实世界场景中捕获，然后将捕获的图像通过显示器进行显示。随着科技的不断发展，虚拟现实系统不断涌现，但是真实图像与虚拟渲染图像之间仍然存在着延迟，为了解决上述技术问题，现有专利公开了一些虚拟现实低延迟显示系统，以上系统有通过检测人体姿势数据、虚拟相机姿势之其之间的变化对场景3D模型转换成的2D投影进行渲染并进行的技术，也有通过对最新的应用帧进行二次渲染得到时间帧，并通过时间帧的渲染结果刷新显示屏的技术，以上技术一定程度上解决了低延迟问题，但是在对虚拟的视频帧进行渲染或补偿时，达不到与现实视频帧非常相似的效果，还是会存在虚拟视频的抖动现象。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种低延迟虚拟现实显示方法和显示系统，该显示方法能够很好地解决真实场景与虚拟视频的延迟问题并且克服了现有技术存在的视频抖动现象。

本发明具体技术方案如下：

本发明提供一种低延迟虚拟现实显示方法，该方法包括如下步骤：

S1：实时获取全景现实视频；

S2：对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧，N≥2；

S3：根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧，并对其进行渲染；

S4：读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新。

进一步的改进，所述残差为第N个视频帧与第N个虚拟视频帧的残差，所述用户运动信息为用户头部旋转信息。

进一步的改进，所述方法还包括：

S5：判断第N个视频帧和第N-1个视频帧内运动目标图像相对于背景图像是否发生了平移，如果未发生平移不做处理；如果发生了平移，进行步骤S6；

S6：计算第N个视频帧和第N-1个视频帧之间的平移向量；

S7：根据平移向量对步骤S3获得的第N+1个虚拟视频帧进行二次补偿渲染，并进行步骤S4。

进一步的改进，所述平移向量的计算方法为：

S61：将第N-1个视频帧的运动目标图像分割成k个子块，k≥1，记录每一子块的大小，将第N个视频帧中的运动目标图像按照每一第k子块的大小也分割成k个子块；

S62：计算第N-1个视频帧的运动目标图像第k个子块与第N个视频帧的运动目标图像第k个子块的像素灰度差H；

S63：对所述像素灰度差做加权处理，获得平移向量。

进一步的改进，步骤S3包括：

S31：根据第N-1个视频帧和用户运动信息生成第N个虚拟视频帧；

S32：计算第N个视频帧与第N个虚拟视频帧的残差；