[发明专利]一种基于边缘修复的虚拟视点图像频域快速获取方法

说明书

技术领域

本发明涉及立体显示领域，具体涉及一种基于边缘修复的虚拟视点图像频域快速获取方法。

背景技术

傅里叶切片定理又叫做中心切片定理。它由Bracewell于1956年在对射电天文学进行研究时提出的，它也是医学图像处理的理论基础。该定理的提出为后来在信号处理、图像处理等领域带来了极大的帮助。

三维显示系统将场景的三维信息完全地再现出来，显示具有纵深感的图像。观看者可以直接看出场景中各物体的远近，迅速直观地洞察场景中物体的三维空间关系，从而获得完整和准确的信息。正如声音的记录与再现不断向立体、高保真方向发展一样，图像也从二维向三维、高分辨方向发展。

下一代高分辨率三维显示技术能够完美呈现三维场景中所有物体的位置、角度、颜色、细节特征等丰富信息，具有连续视角和空间深度感，更符合人眼的观看习惯，但是显示所需的数据量需要比现有系统需提高2～3个数量级。巨大的信息量对于复杂场景的高速表征、实时光波场描述和再现系统的空间带宽积提出了更高的要求。因此必须对海量信息的三维显示的像源处理方法就变得尤为重要。

目前行业内所使用的几种方案包括以下几种，其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。另外，对于空洞填充，文献Region Filling and Object Removal by Exemplar-Based Image Inpainting有提到Criminisi算法，但它面对的是整个空洞区域填充，非常耗时。

发明内容

发明目的：解决高分辨率三维显示中高清像源快速获取的问题，本发明公开了一种基于傅里叶中心切片定理和边缘修复的虚拟视点图像快速获取方法。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种基于边缘修复的虚拟视点图像频域快速获取方法，该方法包括如下步骤：

(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；

(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；

(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。

所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公式：其中depth为景深值。

所述步骤(2)中采用改进Criminisi算法对三维矩阵的背景层中的空洞区域进行边缘填充，具体为：当满足条件时，将匹配窗口像素灰度值填充到待填充区域，λ加1，重复该操作，直到不满足条件λ≤num(z)；其中，ψ_q表示待填充区域，ψ_p表示匹配窗口，num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数，SSD为图像相关性算法函数。

所述步骤(3)中的二维切片M(a,b)的大小与2D图像一致，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，θ为指定的角度。

若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。

当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+I(m,n,w+1)*b2。