[发明专利]一种基于Kinect相机的多视点深度视频复原方法

摘要

本发明公开了一种基于Kinect相机的多视点深度视频复原方法，属于图像处理和计算机视觉领域。搭建多视点Kinect相机成像系统进行多视点深度视频采集，建立深度计算重建模型，并构建高性能求解算法以获得高质量多视点深度视频。系统容易构建，用Kinect相机即可完成多视点深度视频的复原；程序简单，易于实现；利用采集到的彩色纹理图像、多视点图像、和视频帧间信息建立多视点深度视频计算重建模型，使得恢复结果更加精确；利用求导的方式推导出定点迭代滤波算法，避免了采用最小二乘求解大规模矩阵求逆的问题，算法运行速度快，迭代次数少。

主权项

1.一种基于Kinect相机的多视点深度视频复原方法，其特征在于，包括下列步骤：1)标定每个Kinect相机的内部参数和外部参数；将多视点的低分辨率深度视频扭转到同一相机的彩色视角下，得到多视点的初始低质量深度视频；2)构建数据项：以概率方式融合多视点的初始低质量深度视频的深度信息构建数据项；3)构建平滑项：应用步骤1)中当前相机的高分辨率彩色视频，得到相邻帧间像素的时域对应关系，并计算帧内像素间的空域相似度，以概率方式融合初始低质量深度视频的时域和空域信息构建平滑项；4)联合数据项和平滑项建立能量方程，应用定点迭代滤波算法进行求解，得到高质量多视点深度视频；步骤2)中数据项的建立，具体包括以下步骤：2‑1)对于第i个Kinect相机K_i采集并扭转视角得到的初始低质量深度图计算每个像素p对应的融合权重公式如下：式中，exp(·)为指数函数，d为相邻相机彩色摄像头光心间的距离，σ为指数函数的调控参数，取值范围为4.0～6.0；为像素p的深度值；2‑2)结合2‑1)中得到的融合权重hⁱ，以概率方式融合采集的初始低质量深度图建立数据项，公式如下：式中，Edata(·)为数据项的能量函数，D为待求的当前深度帧，Dp为当前深度帧D在p点的像素值；步骤3)中平滑项的建立，具体包括以下步骤：3‑1)利用彩色图像I，对其中的每一点像素p，采用Lucas‑Kanade光流算法粗略寻找相邻帧中的对应像素3‑2)采用Approximate K‑Nearest Neighbors结构在像素周围邻域内寻找最优的匹配像素点p_t，邻域大小为ω×ω；匹配相似度的计算方式如下公式所示：式中，P_p为以像素p为中心的图像块，为以像素p_t为中心的图像块，q和q_t分别为p和p_t邻域Ν(p)和Ν(p_t)中的像素，图像块大小和邻域大小均为ω₁×ω₁；I_q和为像素q和q_t对应的彩色值；3‑3)利用求得的匹配相似度计算时域相似度权重公式如下：式中，N为归一化因子，等于邻域权重之和；σp为指数函数的调控参数；3‑4)利用当前帧的彩色图，采用非均值局部滤波的方式计算空域相似度权重3‑5)结合3‑3)和3‑4)中得到的时域相似度权重空域相似度权重以概率方式融合视频相邻的深度帧信息构建平滑项，公式如下：式中，E_smooth(·)为平滑项的能量函数，t为当前帧的相邻帧，为第t帧在像素q_t上的深度值，Ν(p_t)为像素p_t的邻域，大小为ω₂×ω₂。