[发明专利]自动调整视角的全景视频渲染方法、存储介质及计算机设备

权利要求书

1.一种自动调整视角的全景视频渲染方法，其特征在于，所述方法包括：

获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；

分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；

分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；

根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；

将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染；

所述根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量包括：

初始化全景相机运动的初始位移量T₀为(0,0,1)，T₀是t＝1时的位移量；

计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量T_t-1，并用第一位移量T_t-1作为当前视频帧相对前一视频帧的第二位移量T_t；

根据所述匹配点对，优化第二位移量T_t，得到优化后的位移量

所述根据所述匹配点对，优化第二位移量T_t，得到优化后的位移量包括：

采用目标函数优化第二位移量T_t，T_t用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，α为平滑参数，α＝0.1，d_t,i和d_t-1,i分别为和对应的深度，和分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；

F_i(T_t)＝||norm(d_t,i·P_w^t,i-T_t)-P_w^t-1,i||+||norm(d_t-1,i·P_w^t-1,i+T_t)-P_w^t,i||，

其中，，

a＝0.01，s＝F_i(T_t)；

对于F_i(t_t)迭代过程具体为：

首先对所有匹配点对采用最小二乘法求解深度，结果用表示；当时，则使当时,则使

然后计算残差以及F_i(T_t)的Jacob函数其中，k为迭代次数，T_t^k为迭代k次后的T_t，和分别为迭代k次后的d_t,i和d_t-1,i，和分别为和的逆深度。

2.如权利要求1所述的方法，其特征在于，所述获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量包括：

获取拍摄当前视频帧时全景相机的陀螺仪数值，计算出当前t时刻全景相机相对于世界坐标系的旋转量其中为t时刻陀螺仪到世界坐标系的旋转量，为t时刻全景相机到陀螺仪的旋转量。

3.如权利要求1所述的方法，其特征在于，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列包括：

分别对全景视频的前一视频帧对应的多路鱼眼图像采用好的特征点跟踪Goodfeature to track特征点检测方式提取角点，形成待跟踪的角点序列；

或者，

分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。