[发明专利]一种针对于虚拟现实设备的全景3D视频生成方法

摘要

本发明公开了一种针对于虚拟现实设备的全景3D视频生成方法，包括：用广角相机阵列拍摄场景视频并经过拼接算法生成全景视频；用深度相机阵列拍摄场景的深度图并经过拼接算法生成全景深度图视频。通过实时检测人的头部位置，在全景视频帧中切割相应位置的图像作为左视点的视频；根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像，这两幅图像拼接为左右3D视频，在虚拟现实设备中显示。本发明通过在虚拟现实设备显示的全景视频中，加入视点合成技术，使观看者能看到全景视频的3D效果，增加了场景的逼真性，进而提升了观者的体验感。

主权项

1.一种针对于虚拟现实设备的全景3D视频生成方法，其特征在于，包括如下步骤：S1、拍摄场景视频并经过拼接算法生成全景视频；S2、拍摄场景的深度图并经过拼接算法生成全景深度图视频；S3、通过实时检测人的头部位置和姿态，在全景视频帧中切割相应位置的图像,各帧的切割图像连起来形成左视点的视频；S4、根据左视点的图像和相应的深度图，基于虚拟视点合成技术外插生成右视点图像；S5、左视点视频和右视点视频拼接为左右3D视频，在虚拟现实设备中显示；步骤S4中，根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像的方法包括左参考视点向右参考视点的映射和映射后图像的空洞填补；映射的过程如下：首先根据下述公式，把左视点图像映射到原始标定摄像机和物体位置的三维坐标系，此三维坐标系由参数R，T，K唯一标示，其中，R，T，K分别是左视点图像坐标系相对于三维坐标系的旋转矩阵，平移矩阵和相机内部参数矩阵，r代表左视点，w代表三维坐标系，z为深度值，u和v分别为左视点图像中像素点的横纵坐标，X，Y和Z分别为左视点图像中相应像素点映射在三维坐标系中的三个坐标；然后通过下面公式，把三维坐标系的图像投影到右视点坐标系上：上述公式中的r,v分别代表左视点和右视点。