[发明专利]自动调整视角的全景视频渲染方法、存储介质及计算机设备

说明书

本申请适用于全景视频处理领域，提供了一种自动调整视角的全景视频渲染方法、存储介质及计算机设备。方法包括：获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和当前视频帧和前一视频帧对应的多路鱼眼图像；分别提取前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列，并对其进行跟踪，获取待跟踪的匹配点对；根据匹配点对，对当前视频帧相对前一视频帧的位移量进行优化，并将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用旋转量和旋转矩阵对当前视频帧进行转场渲染。本申请可以自动计算全景相机的运动方向，并跟随运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上。

技术领域

本申请属于全景视频处理领域，尤其涉及一种自动调整视角的全景视频渲染方法、存储介质及计算机设备。

背景技术

现有技术对全景视频进行渲染时，通常是以固定全景相机的绝对视角或者平滑旋转全景相机的视角来作为虚拟相机的视角。然而，固定全景相机的绝对视角作为虚拟相机的视角时，这个固定的视角可能并不是用户一直感兴趣的视角；平滑旋转全景相机的视角来作为虚拟相机的视角时，可能大多数视角都不是用户感兴趣的视角。实际情况下用户一般会更关注全景相机拍摄的前方。而现有技术对全景视频进行渲染的方法无法满足用户的需求。

发明内容

本申请的目的在于提供一种自动调整视角的全景视频渲染方法、装置、计算机可读存储介质、计算机设备及全景相机，旨在解决现有技术对全景视频进行渲染的方法无法满足用户更关注全景相机拍摄的前方的需求的问题。

本申请提供了一种自动调整视角的全景视频渲染方法，所述方法包括：

获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；

分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；

分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；

根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；

将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。

进一步地，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列包括：

分别对全景视频的前一视频帧对应的多路鱼眼图像采用好的特征点跟踪Goodfeature to track特征点检测方式提取角点，形成待跟踪的角点序列；

或者，

分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。

进一步地，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列之后，所述方法还包括：

分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；

分别检测每个子块中待跟踪的角点数；

判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。

进一步地，所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列包括：