[发明专利]一种单目视频深度图计算方法

说明书

本发明公开了一种单目视频深度图计算方法，其特征在于，包括，将待恢复的视频按帧分解成图片；提取每一帧的图片特征点；匹配特征点，形成特征点轨迹；计算全局旋转矩阵和平移向量；优化相机参数；计算选定帧的稠密光流；计算选定帧的深度值获得其深度图。本发明技术方案的方法，采用基于物理机制从运动中恢复结构(SFM)的深度估计方法，将稠密光流作为匹配。这种方法不需要任何训练样本，且没有利用分割以及平面拟合等优化方式，计算量较小。同时，该方法解决了现有技术中由场景稀疏重建到稠密重建过程中，尤其是无纹理区域中，不可能得到所有像素点的深度值的难题，提高了计算效率的同时，保证了深度图的精确度。

技术领域

本发明属于计算机视觉领域，具体涉及一种单目视频深度图计算方法。

背景技术

随着科技的发展，3D电影、虚拟现实正在丰富着人们的生活。但是，无论是已经风靡全球的3D电影还是当前方兴未艾的虚拟现实都面临一个严重的问题，那就是目前3D资源的匮乏。现有技术中，主要是通过单目视频预测深度，再通过视点合成得到双目立体视频，这也是解决目前3D资源匮乏的主要方法。

在这一技术途径中，单目视频的深度估计作为重要组成部分得到广泛关注。目前，主流的单目深度预测方法有基于深度学习的深度估计方法和基于物理机制从运动中恢复结构(SFM)的深度估计方法以及光流法。其中，基于深度学习的深度估计方法对于数据库较为依赖，且一般为有监督学习的深度估计，即需要大量的训练样本才能保证结果的准确，而大量的训练样本获得的代价相对较高。而基于物理机制从运动中恢复结构(SFM)的方法目前来说在恢复相机位置方面做得相当精确，且在效率和准确度上达到了很高的平衡。但是，此方法以往的难点在于从场景的稀疏重建到稠密重建不可能得到所有像素点的深度值，尤其是在无纹理区域。相对而言，光流法的精度则可以达到精准的亚像素级别。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种单目视频深度图计算方法。本发明技术方案的方法，针对现有有监督学习训练样本不易获得的情况，用基于物理机制保证的方法对单目视频深度值进行计算；同时引入稠密光流进行匹配，可以较为精确地计算出视频帧的深度图。

为实现上述目的，按照本发明的一个方面，提供了一种单目视频深度图计算方法，其特征在于，包括下列步骤，

S1将待恢复的视频按帧分解成图片；

S2提取每一帧的图片特征点；

S3匹配特征点，形成特征点轨迹；

S4计算全局旋转矩阵，所述旋转矩阵为世界坐标系的坐标轴相对于相机坐标系的方向；

S5计算全局平移向量，所述平移向量为世界坐标系坐标轴相对于相机坐标系的位置坐标；

S6优化相机参数；

S7计算选定帧的稠密光流；

S8计算选定帧的深度值，并进一步地获得其深度图。

本发明技术方案的方法，将从运动中恢复结构的方法以及光流法结合，并且将相机位置和图像间的匹配关系良好的结合起来，可以极大地预测深度图结果质量。

具体来说，针对要恢复的视频，将其按帧分解成若干图片，对于每一帧图片，进行基于纹理特征提取操作。获得每一帧的特征点后，将一个特征在全部帧中的特征点进行匹配，每个特征可以对应形成一个特定的特征点轨迹，也就是这个特征在视频播放过程中的轨迹。