[发明专利]模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法

权利要求书

1.一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，其特征在于，包括下列步骤：

1.1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：

1.1.1模糊体素对于像素(x,y)的数学表达式为：

V(x,y)＝{d_k,μ_k(d_k)|d_k∈[d_min,d_max]}

其中：[d_min,d_max]为深度范围，深度的间隔采用深度值倒数的线性采样；μ_k(d_k)∈[0,1]为候选深度d_k的隶属度函数，其值与深度范围有关；

1.1.2通过双层帧采样方法，为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制；

1.1.3双层帧采样过程：先利用运动恢复结构算法计算所有视频帧的相机位姿，同时重建视频图像中显著特征的稀疏三维点云；然后根据这些信息对视频帧进行由密集到稀疏采样：先对视频帧密集采样，使相邻采样帧的相机视角相差1°；再对密集采样帧以4:1的固定比例进一步下采样，得到稀疏采样帧；

1.1.4深度范围选取过程：对于每幅稀疏采样帧，先提取边缘像素，然后为每个模糊边缘进行深度范围的由粗到细选取，具体包括下列步骤：

1.1.4.1初始化：利用由运动恢复结构算法输出且在当前采样帧中可见的最近与最远三维点的深度值，初始化该模糊边缘的深度范围；

1.1.4.2粗选取：利用当前帧的100幅相邻密集采样帧，计算所有候选深度的匹配代价，用匹配代价小于τ₁的最小与最大候选深度，更新该模糊边缘的深度范围；

1.1.4.3细选取：利用当前帧的100幅相邻稀疏采样帧，计算新的匹配代价，将匹配代价小于τ₂的最小与最大候选深度作为该模糊边缘最终的深度范围；

步骤1.1.4.2与1.1.4.3采用像素级匹配代价计算方法，阈值τ₁与τ₂根据具体场景的实际重建效果设定，将最后取得最小匹配代价的深度值作为该边缘的粗略深度，并通过最小匹配代价的阈值化去除物体轮廓附近的背景边缘及粗略深度明显不可靠的边缘；

1.1.5隶属度分配过程定义模糊边缘候选深度的隶属度函数为：

μ_k(d_k)＝(1-S_k)·(1+R_k/6)

S_k∈[0,1]为在深度范围细选取步骤中求得的匹配代价，R_k∈[-6,6]计算公式如下列：

其中：D_n为在当前帧的100幅相邻稀疏采样帧中随机抽取的6幅视图的边缘粗略深度图；B、A与C分别表示d_k所重建体素P与D_n之间是否产生三种关系：可见度一致、自由空间冲突、遮挡，是则取1，否则取0；

1.2虚拟视图模糊边缘合成：通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘，包括下列步骤：

1.2.1参考视图选取：从稀疏采样帧中为虚拟视图选取M(≥2)幅相机位置最近且视角相差最小的真实视图作为插值的参考图像；M值根据实际情况设置，以便达到运算速度与合成效果的良好折中；假设虚拟视图I_v的相机光心为O_v，将某参考视图I_c中像素(x,y)对I_v的插值权重定义为：

其中：b为相邻稀疏采样帧的平均基线；Ray_c为I_c的光线；Dist为点线距离函数；

1.2.2模糊边缘合成：先为候选边缘合成模糊体素，再从中提取模糊边缘，具体包括下列步骤：

1.2.2.1候选边缘模糊体素合成过程：将每幅参考视图的模糊边缘投影到虚拟视图中，把全部投影点标记为候选边缘；对于每个候选边缘(x,y)，将投影到该像素的全部参考视图模糊边缘投影到它的相应光线上，取所有深度范围投影的并集作为该像素模糊体素的深度范围；然后利用下式计算其模糊体素：

其中：V_c为虚拟视图的参考视图的模糊边缘；T_v与T_c分别表示对虚拟视图与参考视图进行投影正变换；

两个具有不同深度范围的模糊体素的求和过程为：先将它们的深度范围均扩展为两者的并集，新增候选深度的隶属度设为0，再将相同深度的隶属度相加，最后将V_v(x,y)做紧凑化处理，即对其深度范围也采用加权求和运算进行更新；

1.2.2.2模糊边缘提取过程：将每个模糊体素的中心—隶属度最大的所有候选深度的平均值，作为对应候选边缘的深度估计，利用Sobel算子对所得的半稠密的粗略深度图进行边缘检测；

1.3虚拟视图模糊表面生成：先采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面；然后利用全部稀疏采样帧的模糊边缘，同时基于全局可见性约束，去除造成错误遮挡的模糊表面；最后利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补，具体包括下列步骤：

1.3.1空域插值采用Jacobi迭代法，对虚拟视图的模糊边缘进行视点内插值，对模糊表面同时完成边缘保留—边缘尖锐约束、区域填充以及平滑化—局部平滑约束；不失一般性，令V_v^t为虚拟视图模糊表面的第t次卷积结果，则迭代过程描述为：

{(x_n,y_n)}代表像素(x,y)的4邻域；δ(·)为指示函数，对于非空模糊体素，其值为1，否则为0；如果V_v^t+1在深度范围和隶属度分布方面与V_v^t的差异都小于给定阈值，结束迭代；

1.3.2去除造成错误遮挡的模糊表面，包括下列步骤：

1.3.2.1种子点选取：先从虚拟视图的模糊表面中获取其粗略表面估计，即提取全部模糊体素的中心；再将该粗略表面依次投影到每幅稀疏采样帧中；对于某稀疏采样帧的边缘(x,y)，假设它的模糊体素深度范围为[d_min,d_max]，其粗略深度估计d_r重建的体素为P_r；用P_w表示从虚拟视图投影至(x,y)的体素，用d_w与[d_min',d_max']分别代表其相对于此采样帧的深度值和深度范围—通过将P_w所属模糊体素投影至(x,y)所在光线上求得，如果满足以下条件：

将P_w标记为区域生长过程的一个种子点，其所属的模糊体素将不再投影到剩余采样帧中，式中：β为容错性能控制参数；

1.3.2.2区域生长：将稀疏的种子点逐步聚合成若干个密集、独立的模糊表面：先针对每个种子点P_w，将其在相应采样帧中的深度差d_r-d_w投影至它在虚拟视图中的光线上，投影结果记为Δd；接着将P_w所属模糊体素的深度范围[d_min”,d_max”]扩展至[d_min”-Δd,d_max”+Δd]；然后通过Jacobi迭代法对虚拟视图模糊表面的深度范围进行平滑化；将较区域生长前深度范围相对变化超过预设阈值的模糊体素集合，作为检测出的错误模糊表面；

1.3.3虚拟视图模糊表面空洞的角度域填补，包括下列步骤：

1.3.3.1统计每幅稀疏采样帧检测出的种子点数量；

1.3.3.2按照数量由多到少的顺序逐个进行模糊表面空域插值，并将插值结果投影至虚拟视图模糊表面的空洞处；如果空洞被完全填充，则结束操作，否则继续。