[发明专利]基于最小生成树的非局部的深度图超分辨率重建方法

说明书

技术领域

本发明属于计算机视觉和图像处理领域，具体涉及一种针对低分辨率深度图的非局部的基于最小生成树（MST，Minimum Spanning Tree）的超分辨率方法，即基于最小生成树的非局部的深度图超分辨率重建方法。

背景技术

图像超分辨率（Image Super Resolution），即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。

提高图像分辨率最直接的办法就是提高采集设备传感器的密度，然而高密度的图像传感器的价格相对昂贵，在一般应用中难以承受；另一方面，成像系统受其固有传感器排列密度的限制，目前已接近极限。提高图像分辨率的另一方法是提高芯片尺寸，但这将导致电容的增加和电荷转移速度的下降。

一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高，即超分辨率重建。它对单幅图像或多帧图像序列进行处理，生成高分辨率图像。若利用一个滑动窗口对低分辨率图像序列进行处理，则可以生成超分辨率图像序列。超分辨率重建技术的优点是不涉及硬件，成本低，现有的图像系统还可以使用，是一种比较经济的方案。

现阶段，国内外的很多工作都是采用对齐的高分辨率彩色图和低分辨率深度图结合，来对深度图进行超分辨率重建。假设深度图中不连续的地方对应于彩色图中的边缘，彩色图中颜色一致的区域具有相似的几何结构，采用彩色图提供的丰富的纹理信息，能够有效地重建深度图纹理结构。一种方法是将超分辨率优化归结为基于马尔科夫场的后项概率问题，通过优化最大后项概率问题来提高分辨率；还有一类方法采用基于引导的滤波器（Guided Image Filtering）来实现超分辨率。联合双边滤波器（Joint Bilateral Filter）是应用最广泛的一种Guided Image Filter，在彩色纹理导图的指引下，权值的计算不仅取决于当前像素与邻近像素的空间位置关系，纹理导图上对应位置像素间的强度值差异同样会影响权重的取值，因此双边滤波在对图像进行平滑的同时可以很好的保护边缘信息。还有一种采用非局部均值滤波（Non-local Means Filter）来实现超分辨率的方法。非局部均值滤波在操作时会考虑非局部区域在结构上的相似性，对图像结构的恢复比较有效。但是，现有的方法存在一个共同的问题：时间复杂度较高，很难满足实际应用的需要，尤其是有实时性要求的应用。

发明内容

本发明旨在克服现有技术的不足，提出一种快速的非局部的基于MST的超分辨率重建方法，在降低算法时间复杂度的同时，保持重建结果的质量，在两者之间取得很好的平衡，为此，本发明采取的技术方案是，基于最小生成树的非局部的深度图超分辨率重建方法，包括下列步骤：

1）采用Middlebury的数据集即成对彩色图和深度图作为测试数据，根据超分辨率比例对深度图进行下采样，得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理，即采用双三次插值（Bicubic Interpolation）将下采样后的深度图放大至原来的尺寸；

2）将彩色纹理导图看作一幅连通的无向图G=（V,E），节点V对应于图像中所有的像素点，边E对应于图像中最邻近像素间的连线，这样就得到了一幅标准的4连通的平面图，设s和r是一对相邻的节点，连接s和r的边的权重定义如下：

ω(s,r)＝ω(r,s)＝|I(s)-I(r)|         (1)

ω(s,r)为连接s和r的边的权值，I(s)和I(r)是节点对应像素的强度值；

3）由2）中的无向连通图G，得到与之对应的MST（MST，Minimum Spanning Tree），在生成MST的过程中，权值较大的边会被移除，这些边正好对应于彩色图中强度值变化较大的区域；

4）根据MST对预处理之后的粗糙的深度图进行重建，在MST中，两个节点之间的距离越小，两者越相似，节点间距离为连接二者最短路径的边权的总和，节点间的相似度定义如下：

S(p,q)＝S(q,p)＝exp(-D(p,q)σ)       (2)

p、q为MST中的节点，σ是一个常数，用来对相似度进行调整，这样就将Joint Bilateral Filter扩展至最小生成树结构，双边滤波在对图像进行平滑的同时能够有效的保护边缘信息，在立体匹配代价聚合中得到广泛应用，双边滤波的定义如下：