[发明专利]一种将2D视频转换成3D视频的方法

摘要

一种将2D视频转换成3D视频的方法，属于模式识别和计算机视觉领域，目的在于消除现有技术场景深度估计和视点合成带来的不可预测误差，同时大大提高计算速度。本发明包括训练阶段和使用阶段，训练阶段依次包括数据输入、特征提取、特征融合、视点合成和参数更新步骤；使用阶段依次包括数据输入、特征提取、特征融合和视点合成步骤。训练阶段对106级的左右格式的3D立体视频电影片进行训练，将场景深度估计和视点合成同时进行优化求解，确定参数，保证了输出右路视图的像素级精度预测，减少了将2D视频转3D视频分成两个任务操作带来的误差；训练完成以后，即可直接进行2D视频到3D视频的转换，可以大大提高转制效率，保证最后输出的3D立体视频的精度。

主权项

1.一种将2D视频转换成3D视频的方法，包括训练阶段和使用阶段，其特征在于：(1)所述训练阶段依次包括数据输入步骤、特征提取步骤、特征融合步骤、视点合成步骤和参数更新步骤；(1.1)数据输入步骤：通过公开的视频数据资源获取数量级为106的左右视图格式的3D立体视频电影片，并从中挑选出视差范围为‑15～+16的3D立体视频电影片，作为训练数据集，立体视频电影片中图像大小为H行、W列，H＝200～1920、W＝180～1080；(1.2)特征提取步骤：将训练数据集中左右视图格式的立体视频拆分为左、右视图格式的立体图像，保留右视图不变，对一帧左视图依次通过数学卷积运算和池化降采样运算进行特征提取，得到该帧左视图的第一层卷积特征矩阵～第二十一层卷积特征矩阵，作为其图像特征；(1.3)特征融合步骤：分别对第三层、第六层、第十层、第十四层、第二十一层卷积特征矩阵，进行矩阵反卷积操作，将所得到的第一组反卷积特征矩阵D3到第五组反卷积特征矩阵D21进行级联，构成融合特征矩阵Dc，融合特征矩阵Dc大小为H×W×32，即矩阵有H行、W列、32个张量维度；(1.4)视点合成步骤：对融合特征矩阵Dc，使用回归参数矩阵θ，得到对应左视图中每个像素取不同视差时的概率预测值，构成左视图的视差概率矩阵Dep；依据原始左视图和视差概率矩阵Dep，通过视点合成，得到右路合成视图；(1.5)参数更新步骤：计算右路合成视图与步骤(1.2)中的右视图的误差矩阵errR；对于连续M帧右路合成视图，各误差矩阵errR相加，构成传播误差矩阵errSR，M≥16；将所得到的传播误差矩阵通过反向传播算法传播到视点合成步骤、特征融合步骤和特征提取步骤中的各子步骤，依次反向更新视差概率矩阵Dep、回归参数矩阵θ，以及各层各卷积核的各权值，完成所有参数的一次更新；转特征提取步骤(1.2)，对所获得的训练数据集中余下的左视图继续依次进行上述特征提取、特征融合、视点合成步骤和参数更新步骤，当训练数据集中所有左、右视图均使用完毕，完成视差概率矩阵Dep、回归参数矩阵θ，以及各层各卷积核的第一轮更新；依照所述步骤(1.1)至步骤(1.5)，继续完成视差概率矩阵Dep、回归参数矩阵θ，以及各层各卷积核的第二轮更新；如此重复，当完成第五十轮～第二百轮更新以后，训练阶段结束；(2)所述使用阶段依次包括数据输入步骤、特征提取步骤、特征融合步骤和视点合成步骤；(2.1)数据输入步骤：准备待转换的平面2D视频；(2.2)特征提取步骤：将平面2D视频拆分为图像，作为相当于步骤(1.2)中的左视图，依次通过数学卷积运算和池化降采样运算进行特征提取，得到该帧左视图的第一层卷积特征矩阵～第二十一层卷积特征矩阵，作为其图像特征；各层所涉及各卷积核各权值均采用训练阶段结束后对应各层各卷积核的各权值；(2.3)特征融合步骤：与步骤(1.3)相同；(2.4)视点合成步骤：与步骤(1.4)相同，依据步骤(1.4)中得到的视差概率矩阵Dep，和(2.2)中的图像，通过视点合成得到右路合成视图；对每一帧左视图依次进行上述特征提取步骤(2.2)、特征融合步骤(2.3)和视点合成步骤(2.4)，将原始图像作为左视图和所得到的右路合成视图进行左右拼接，然后一帧一帧连在一起即得到左右格式的3D立体视频。