[发明专利]一种优化加速的深度图超分辨率插值方法

说明书

本发明公开了一种优化加速的深度图超分辨率插值方法，通过预先定义预采样核，将窗口内的各个像素点与该窗口的四个已知像素点的坐标关系存储在预采样核，并将浮点型数值计算优化成整型数值计算，在不损失精度的前提下达到优化速度的目的，提高了插值算法的效率。本发明在边界处采用不同的插值策略，在重建过程中消除边界处的金字塔噪声问题，无需再次对重建后的深度图进行去噪处理，减少了计算量和耗时。本发明为了消除超分辨率重建后的深度图在空洞区域存在大量噪声的问题，选择在重建前对低分辨率深度图即原始深度图进行去噪、空洞检测和空洞填充的处理，消除低分辨率深度图的噪声和空洞问题。

技术领域

本发明涉及图像数据处理的技术领域，尤其是一种优化加速的深度图超分辨率插值方法。

背景技术

相比于传统图像，深度图是一种特殊的图像，它用于记录场景的几何信息。近年来，结合纹理图和深度图的RGB-D数据格式已广泛应用于虚拟现实、三维重建等高新技术方面。随着成像技术的不断提高，高质量的纹理图已实现移动设备的获取。然而，作为现代多媒体重要组成部分的深度图的获取质量却不尽如人意。目前，主流的基于飞行时间的TOF，基于结构光技术的深度传感器技术获取到的深度图分辨率低且易受到环境光噪声的干扰，所以需要对原始深度图进行超分辨率重建和去噪处理。图像的分辨率指图像中每英寸有多少个像素点，分辨率越高，图像中包含的信息量就越大，细节信息就越丰富。图像超分辨率是指通过图像处理算法提升原图像的分辨率，从而提升图像的质量。

深度图超分辨率重建方法可以分为单深度图超分辨率重建和基于纹理图指导的超分辨率重建两大类。深度图超分辨率重建本质上来说都是低分辨率图像向高分辨率图像的上采样插值的过程，但是，现有技术的插值算法是浮点型数据，计算量大，整个重建效率变慢。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种优化加速的深度图超分辨率插值方法，通过预先定义预采样核，将浮点型数值计算优化成整型数值计算，提高插值算法的效率，达到优化速度的目的。

为实现上述目的，本发明采用以下技术方案，包括：

一种优化加速的深度图超分辨率插值方法，包括以下步骤：

S1，对原始深度图进行上采样处理，上采样倍率为scale；

S2，确定上采样处理后的深度图即重建深度图上各个像素点的像素值；具体如下所示：

S21，从重建深度图的左上角像素点开始，采用大小为(scale+1)*(scale+1)，移动步长为scale的窗口，遍历重建深度图，分别确定各个窗口内的像素点像素值；

其中，大小为(scale+1)*(scale+1)的窗口，即分为(scale+1)行、(scale+1)列，共包括(scale+1)*(scale+1)个像素点；

根据上采样原理，各个窗口在重建深度图上均存在四个已知像素值的像素点即已知像素点，分别为：该窗口的左上角像素点、右上角像素点、左下角像素点、右下角像素点；

S22，窗口内的各个像素点与该窗口的四个已知像素点的坐标关系存储在预采样核kernel中，预采样核kernel的大小为(scale+1)*(scale+1)*4，即预采样核kernel为(scale+1)行、(scale+1)列的矩阵，包含(scale+1)*(scale+1)个元素，且矩阵中的每个元素包含4个参数；

预采样核kernel中第i行第j列的元素中4个参数分别为：

kernel[i][j][0]=1.0*(scale-i)*(scale-j)；

kernel[i][j][1]=1.0*(scale-i)*(j)；

kernel[i][j][2]=1.0*(i)*(scale-j)；