[发明专利]一种基于视图缩放的全景图像空洞填充方法

说明书

本发明公开了一种基于视图缩放的全景图像空洞填充方法，包括如下步骤：(1)经过虚拟视图合成得到有空洞的ERP格式的虚拟视点处的全景纹理图；(2)ERP格式的全景纹理图的像素随纬度增大而拉伸变形程度增大，对行像素采取权重进行下采样缩放，形成较真实的近似椭圆形的平面纹理图；(3)改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充；(4)对空洞填充后的缩放图扩展反变换到原ERP格式纹理图；(5)将ERP格式纹理图反投影到球面。本发明从三种情况下匹配最佳匹配块对空洞块区域进行填充，在完成空洞填充后，有效提升合成虚拟全景视图的质量。

技术领域

本发明涉及全景图像技术领域，尤其是一种基于视图缩放的全景图像空洞填充方法。

背景技术

全景图像允许观众切换视角，为用户提供身临其境的观看体验，目前，全景图像已广泛应用在影视、教育、工业仿真、医学研究等众多领域。由于球面全景图像与传统图像编解码方式的不兼容，全景图像和传统图像具有相同清晰度的情况下，其像素总量往往是普通图像的3-4倍，因此对传输的带宽消耗巨大。业界主流的解决思路是利用映射关系，将球形图像投影到平面上，对得到的平面图像进行压缩。众多映射格式里，ERP(Equirectangular Projection)格式由于映射关系简单被广泛应用到了目前的全景图像应用中。

由于拍摄条件和网络传输带宽限制，通常情况下无法获得任意视点位置上的全景图像内容，可以利用有限视点的全景图像信息来获得任意视点下的图像内容。基于深度图像的虚拟视点合成技术(DIBR)是预测虚拟视点图像内容的一种最重要的技术。利用3D-warping投影、视图融合、插值等技术可直接快速生成较为真实的虚拟视点处的图像。可以利用ERP格式的全景视图通过DIBR合成不同视角的虚拟视图，最终将虚拟视图反映射到球面上得到球形的虚拟全景视图。

然而，由于场景中物体的遮挡暴露、深度图质量不高、映射时的舍入误差等问题会造成合成的虚拟视图上出现空洞。空洞问题严重影响了合成视图的质量，给用户带来很差的沉浸感和体验感。传统的图像空洞填充算法例如Criminisi算法针对的是普通平面图像，而对于全景图像，由于其映射方式不同于平面图像，已有的空洞填充算法无法直接应用于全景图像，因此需要设计一种适用于全景图像的填充空洞方法。

发明内容

本发明所要解决的技术问题在于，提供一种基于视图缩放的全景图像空洞填充方法，从三种情况下匹配最佳匹配块对空洞块区域进行填充，在完成空洞填充后，有效提升合成虚拟全景视图的质量。

为解决上述技术问题，本发明提供一种基于视图缩放的全景图像空洞填充方法，包括如下步骤：

(1)经过虚拟视图合成得到有空洞的ERP格式的虚拟视点处的全景纹理图；

(2)ERP格式的全景纹理图的像素随纬度增大而拉伸变形程度增大，对行像素采取权重进行下采样缩放，形成较真实的近似椭圆形的平面纹理图；

(3)改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充；

(4)对空洞填充后的缩放图扩展反变换到原ERP格式纹理图；

(5)将ERP格式纹理图反投影到球面。

优选的，步骤(2)中，对行像素采取权重进行下采样缩放，形成较真实的近似椭圆形的平面纹理图具体为：从赤道向两极的纬度上对应于ERP视图的行向两边的行像素上赋予越来越大的缩放权重w，w为与行相关的如下计算式：

其中，H为ERP视图的高，i为行数，视图的左上角为原点。

优选的，步骤(3)中，改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充具体包括如下步骤：