[发明专利]模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法

说明书

模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法属自由立体显示技术领域，本发明包括：1.真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘；2.通过真实视图重建结果的视点间加权求和，为已知相机位姿的虚拟视图合成模糊边缘；3.采用基于局部平滑与边缘尖锐约束的空域插值，为虚拟视图生成完整模糊表面，利用全部稀疏采样帧的模糊边缘，基于全局可见性约束，去除造成错误遮挡的模糊表面；4.利用少量稀疏采样帧的完整模糊表面，实现虚拟视图模糊表面空洞的角度域填补；本发明通过边缘驱动与模糊理论相辅相成的策略，能实现不使用给定的场景几何信息端到端的高性能、强鲁棒视图合成，为自由立体显示快速生成高品质内容。

技术领域

本发明属自由立体显示技术领域，涉及一种面向单目视频的虚拟视图绘制方法，具体涉及一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。

背景技术

自由立体显示技术是当今国际显示领域的前沿科技，必将逐步取代现有的平面显示和助视式三维显示媒介。国内外已经对自由立体显示展开了积极探索，尤其在改善分辨率、视角、景深等方面取得了显著进展。然而优质内容相对匮乏的瓶颈尚未得到实质性解决，严重制约了其在诸多领域的普及化和3D手机、3D电视、3D大屏等硬件设备的实用化。一个主要原因是显示内容的主流采集手段都存在一定的缺点，例如微透镜阵列和光场相机再现立体视差小、相机阵列硬件成本高，且标定繁琐、沿轨采集图像序列难以环绕拍摄大场景、深度传感器检测范围有限且精度低等。随着高速成像技术的发展，无轨拍摄单目视频成为快速获取场景全表面多尺度信息的有效方式。为视频场景生成虚拟视点图像，通常需要先通过多视图三维重建(Multi-View Stereo，MVS)估计场景深度，再采用基于图像的渲染(Image-Based Rendering，IBR)技术合成每个虚拟视图。

MVS过程容易在纹理缺失、遮挡、非漫反射、半透明等区域产生歧义匹配，从而使IBR结果存在边缘断裂、混叠伪影和虚拟视图角度域内容不一致等问题，最终损失自由立体显示画面的真实感。边缘驱动与模糊理论分别是MVS和IBR两种算法解决这种重建不确定性的重要手段。边缘驱动方法出于边缘(如物体轮廓、颜色纹理)重建相对较准的考虑，具有很高的运算效率，但是视频数据固有的画面抖动、果冻效应与帧间冗余增加了边缘深度估计的难度；模糊理论通过模拟人脑的容错处理方式来求取“模棱两可”式问题的最优解，但是其模糊性的表达形式在用于高帧率或高分辨率视频时，会造成极大的计算和存储资源浪费。

发明内容

本发明的目的在于提供一种模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法。本发明有机结合了边缘驱动机制计算效率高和模糊理论容错性好的优点，通过边缘驱动与模糊理论相辅相成的策略，能够实现端到端(不使用给定的场景几何信息)的高性能、强鲁棒视图合成，从而为自由立体显示快速生成高品质内容，以解决上述背景技术中提出的问题。

本发明的模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法，包括下列步骤：

1.1真实视图模糊边缘重建，为一组下采样视频帧重建稀疏的模糊边缘，即边缘像素对应的模糊体素，包括下列步骤：

1.1.1模糊体素对于像素(x,y)的数学表达式为：

V(x,y)＝{d_k,μ_k(d_k)|d_k∈[d_min,d_max]}

其中：[d_min,d_max]为深度范围，深度的间隔采用深度值倒数的线性采样；μ_k(d_k)∈[0,1]为候选深度d_k的隶属度函数，其值与深度范围有关；

1.1.2通过双层帧采样方法，为真实视图模糊边缘建立自适应的深度范围选取与隶属度分配机制；