[发明专利]一种低延迟虚拟现实显示方法及显示系统

权利要求书

1.一种低延迟虚拟现实显示方法，其特征在于，所述方法包括如下步骤：

S1：实时获取全景现实视频；

S2：对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧，N≥2；

S3：根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧，并对其进行渲染；所述残差为第N个视频帧与第N个虚拟视频帧的残差，所述用户运动信息为用户头部旋转信息；

S4：读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新。

2.如权利要求1所述的低延迟虚拟现实显示方法，其特征在于，所述方法还包括：

S5：判断第N个视频帧和第N-1个视频帧内运动目标图像相对于背景图像是否发生了平移，如果未发生平移不做处理；如果发生了平移，进行步骤S6；

S6：计算第N个视频帧和第N-1个视频帧之间的平移向量；

S7：根据平移向量对步骤S3获得的第N+1个虚拟视频帧进行二次补偿渲染，并进行步骤S4。

3.如权利要求2所述的低延迟虚拟现实显示方法，其特征在于，所述平移向量的计算方法为：

S61：将第N-1个视频帧的运动目标图像分割成k个子块，k≥1，记录每一子块的大小，将第N个视频帧中的运动目标图像按照每一第k子块的大小也分割成k个子块；

S62：计算第N-1个视频帧的运动目标图像第k个子块与第N个视频帧的运动目标图像第k个子块的像素灰度差H；

S63：对所述像素灰度差做加权处理，获得平移向量。

4.如权利要求1所述的低延迟虚拟现实显示方法，其特征在于，步骤S3包括：

S31：根据第N-1个视频帧和用户运动信息生成第N个虚拟视频帧；

S32：计算第N个视频帧与第N个虚拟视频帧的残差；

S33：根据第N-1个视频帧、用户运动信息和残差重新生成第N个虚拟视频帧；

S34：计算重新生成的第N个虚拟视频帧和第N个视频帧的相似度，并与阈值进行判断，如果相似度大于阈值，进行步骤S35；

S35：根据第N个视频帧、用户运动信息和残差生成第N+1个虚拟视频帧。

5.如权利要求4所述的低延迟虚拟现实显示方法，其特征在于，步骤S3还包括：

S36：如果步骤S34判断相似度不大于阈值，计算重新生成的第N个虚拟视频帧与第N个视频帧的第二残差；

S37：将步骤S32获得的残差和步骤S36获得的第二残差进行加权处理，获得重构残差，然后反复进行步骤S33和S34，直至重新生成的第N个虚拟视频帧和第N个视频帧的相似度大于阈值，并且获取此时的重构残差；

S38：根据第N个视频帧、用户运动信息和步骤S37最后获得的重构残差生成第N+1个虚拟视频帧。

6.如权利要求5所述的低延迟虚拟现实显示方法，其特征在于，步骤S34相似度的计算方法包括：

S341：分别分离出重新生成的第N个虚拟视频帧和第N个视频帧的运动目标图像和背景图像；

S342：分别将各运动目标图像和背景图像分割成多个子块，分别计算分离出重新生成的第N个虚拟视频帧中运动目标图像偏差F₁、背景图像偏差F₂，第N个视频帧中运动目标图像偏差F₃和背景图像偏差F₄；运动目标图像偏差F₁、背景图像偏差F₂、运动目标图像偏差F₃和背景图像偏差F₄均通过如下公式计算：

S_i为子块第i个像素的灰度值，G为子块的像素总数，m为子块的个数，F_n表示图像偏差，n＝1、2、3、4；

S343：根据运动目标图像偏差和背景图像偏差分别计算重新生成的第N个虚拟视频帧和第N个视频帧的帧内偏差y和y₁；

S344：计算相似度