[发明专利]对视频进行多体深度恢复和分割的方法

摘要

本发明公开一种对视频进行多体深度恢复和分割的方法，包括如下步骤：（1）对视频用迭代方法进行能量最小化，得到视频的每一帧的初始标号，初始标号由像素的深度和分割信息组成；（2）对每一帧进行图像分割后，用多体平面拟合方法对每一帧图像的初始标号进行优化，得到每一帧图像所有分割块的优化后的标号；（3）利用优化后的标号，为每一帧上的每个像素从邻近帧中选出一组可见帧和一组不可见帧；（4）对所述视频的每一帧用迭代方法进行能量最小化，得到视频的每一帧的迭代后的标号，然后用层次置信度传播算法进一步扩展迭代后的标号中深度的级数。本发明可对存在多个刚性物体运动的视频进行深度恢复和分割。

主权项

1.一种对视频进行多体深度恢复和分割的方法，其特征在于，包括如下步骤： （1）利用式（1）的能量方程对视频用迭代方法进行能量最小化，得到视频的每一帧的初始标号，所述初始标号由像素的深度信息和分割信息组成，（1）其中，（2）（3）式（1）、式（2）和式（3）中，I_t表示第t帧图像，t=1…n，且n为视频的总帧数；x_t表示I_t上的一个像素；表示x_t的标号；N(x_t)表示像素x_t的所有邻近像素；，表示邻近像素之间的标号的差值；表示截断参数；表示对像素x_t可见的帧，且所述对像素x_t可见的帧中与x_t对应的像素在第t帧的重投影与x_t重合；p_c表示像素x_t和的颜色相似性；表示x_t的标号；表示控制式（3）的差分函数形状的参数；表示第帧中与像素x_t对应的像素，且第帧是属于的一帧；表示像素x_t的颜色值；是像素的颜色值；的坐标由利用式（4）得到的进行齐次坐标到二维坐标的转变得到：（4）式（4）中， h表示齐次坐标；表示像素x_t的标号中的深度信息；、和分别对应表示第帧所对应的摄像机的内部参数矩阵、外部参数的旋转矩阵和外部参数的平移矩阵；、和分别是第t帧对应的摄像机的内部参数矩阵、外部参数的旋转矩阵和外部参数的平移矩阵；（2）对每一帧进行图像分割后，用多体平面拟合方法对每一帧图像的所述初始标号进行优化，得到每一帧图像所有分割块的优化后的标号；（3）利用步骤（2）最终所得到的优化后的标号，为第t帧上的每个像素x_t从邻近帧中选出一组可见帧和一组不可见帧，所述可见帧中的所有像素变换到第t帧都不与x_t重合，所述不可见帧中的至少一个像素变换到第t帧会与x_t重合；（4）利用式（5）所示的能量方程对所述视频的每一帧用迭代方法进行能量最小化，得到视频的每一帧的迭代后的标号，然后用层次置信度传播算法进一步扩展迭代后的标号中深度的级数，（5）其中，（6）（7）（8）（9）（10）（11）式（5）至式（11）中，和分别表示能量方程中的数据项和平滑项；I_t表示第t帧图像，t=1…n，且n为视频的总帧数；x_t表示I_t上的一个像素；表示x_t的标号；N(x_t)表示像素x_t的所有邻近像素；，表示邻近像素之间的标号的差值；表示截断参数；表示第帧中与像素x_t对应的像素；表示像素x_t的颜色值；是像素的颜色值；的坐标由利用式（4）得到的进行齐次坐标到二维坐标的转变得到；p_c表示像素x_t和的颜色相似性；表示x_t的标号；表示像素的标号；和分别表示标号和标号中的分割标号；p_g表示衡量两个像素之间几何上的一致性；和分别表示标号和标号中的的深度标号；是将像素根据重投影到第t帧上的像素；p_v表示像素x_t和坐标所对应像素的几何一致性和分割一致性。