[发明专利]一种2D转3D深度估计方法

摘要

本发明属于图像处理以及立体视觉技术领域，为采用人工标记的方法对2D视频进行半自动的深度估计得到质量较高的深度视频序列，进而生成3D立体视频，从而基于2D视频生成3D视频。本发明采用的技术方案是，一种2D转3D深度估计方法，步骤如下：一、关键帧视差分配二、基于非局部随机游走的关键帧视差估计三、基于移动双边滤波的视差传播四、基于非局部随机游走的非关键帧深度优化。本发明主要应用于图像处理以及立体视觉应用场合。

主权项

1.一种2D转3D深度估计方法，其特征是，步骤如下：一、关键帧视差分配选取视频序列的首尾帧作为关键帧，人工对关键帧进行深度标记，为输入的彩色关键帧图像的不同对象分配不同的视差值，生成标记的视差曲线，视为标记线索strokes，作为稀疏视差图；二、基于非局部随机游走的关键帧视差估计将标记线索strokes以及关键帧彩色图作为非局部随机游走算法NRW(Nonlocal Random Walks)的输入，利用NRW算法对图像进行分割，得到不同视差值的对象组合而成的图像，作为关键帧的视差图，NRW算法在随机游走算法RW(Random Walks)的基础上结合了K近邻算法KNN(K Nearest Neighbors)，其欧式距离函数为：其中，d_i表示在像素i处的深度值，归一化为0到1，E⁸连接两个八邻域像素，E^k表示KNN的K个邻接像素的连接，为八邻域局部权重，为KNN权重；三、基于移动双边滤波的视差传播采用移动双边滤波(Shifted Bilateral Filtering,SBF)算法估计非关键帧的视差信息，每个非关键帧的颜色值和色差值都通过其相邻两帧的颜色值和色差值运算得到，由关键帧到非关键帧的视差传播公式为：其中C^t+1(x)表示位置x处的t+1帧的彩色像素值，D^t+1(x)表示位置x处的t+1帧的深度像素值，MV(x)是位置x处的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器；四、基于非局部随机游走的非关键帧深度优化采用非关键帧稀疏视差图作为NRW的输入，基于NRW算法进行修正。