[发明专利]图像修补方法和图像修补装置

说明书

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像修补方法和一种图像修补装置。

背景技术

图像修补的目的是将含有残缺部分的图像尽可能恢复到原始的样子。在自然图像中普遍存在自相似性，比如重复的图案和结构等，这些自相似性包含了一些互补的信息，对于图像修补有很大的帮助。

在图像修补领域中，错误隐藏这种方法正被广泛地研究，错误隐藏方法主要利用图像/视频的自相似性或者时间/空间上的关联来对图像进行处理。一种传统的错误隐藏方法是利用贝叶斯模型来估计图像中的缺失像素，在给定一个损坏的图像后，通过已有的像素来最大化未知像素的条件概率。Besag等人将贝叶斯模型应用于后验概率，然后通过先验概率来达到一个最优值。然而，先验概率模型往往不够精确甚至无法获得。在假设图像能够被局部建模为平稳高斯过程的情况下，Li和Orchard等人通过估计一个局部窗口的协方差来描述局部插值的系数从而提出了一个方向自适应的插值方案。但是，这个假设对图像不一定成立。

最近，低秩矩阵/张量最小化的方法因为其通过稀少信息恢复数据的良好效果而受到关注，许多矩阵/张量修补的方法被提出来以重建丢失了像素的图像。对于那些有高度可重复性结构而丢失率很高的图像，这些方法有着很好的效果，但对其它图像这些方法的效果并不理想，也就是说这些方法仅对低秩的图像有良好的修复效果。Chen等人提出了一种修补丢失信息同时捕获潜在结构的方法，但是这种方法复杂度过高。Liu和Shang等人在张量核范数模型中引入了矩阵因子分解以得到一个规模更小的矩阵核范数最小化问题。不同于全局低秩，Ono等人提出了一个模块低 秩的修复模型。Nguyen等人结合了非局部的图像块的群和低秩张量近似。Dong等人针对自然图像中的非局部相似性建模提出了一个低秩的方法并讨论它和同步稀疏编码的关系。然而，以上这些方法收集到的相似块之间可能不够相似，从而导致图像修复不成功。

因此，如何能够有效地对图像中的缺失块进行修补成为亟待解决的技术问题。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种新的图像修补方案，提高了对图像中缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

有鉴于此，本发明提出了一种图像修补方法，包括：确定待修补图像中包含有未知像素点的至少一个缺失块；对于所述至少一个缺失块中的任一缺失块，聚类得到所述任一缺失块的相似块，以形成由所述任一缺失块聚类得到的类；根据由所述任一缺失块聚类得到的类，构成具有低秩性质的矩阵；采用核范数逼近所述矩阵的秩，并采用奇异值阈值的方法对所述矩阵进行求解；根据对所述矩阵求解后的值，对所述待修补图像中的所述任一缺失块进行修补。

在该技术方案中，在对图像中的缺失块进行修补时，针对任一缺失块，可以聚类得到任一缺失块的相似块，并建立一个低秩最小化模型(即具有低秩性质的矩阵)来恢复丢失区域，而在解决难解的低秩最小化模型时，本发明采用核范数逼近矩阵的秩以简化这个模型的求解，并在具体求解中应用到了奇异值阈值的方法，提高了对缺失块修补的准确性，有效地实现了对缺失块的图像进行修补的目的。

在上述技术方案中，优选地，聚类得到所述任一缺失块的相似块的步骤，具体包括：对所述待修补图像进行多层下采，以得到多个下采图像；在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块。

在该技术方案中，通过对待修补图像进行多层下采，以在待修补图像 和多个下采图像中聚类得到任一缺失块的相似块，使得能够在待修补图像和多个下采图像中找到足够数量的相似块，以实现对图像进行修复的目的。其中，可以采用最近邻下采样的方法对待修补图像进行多层下采。

在上述任一技术方案中，优选地，在所述待修补图像和所述多个下采图像中聚类得到所述任一缺失块的相似块的步骤之前，还包括：

在对所述待修补图像进行多层下采的过程中，若所述下采图像中包含有丢失的像素点，则判断是否能够在进行下采操作前的图像中找到与所述下采图像中丢失的像素点对应的像素点周围未丢失的像素点；在判定能够找到所述未丢失的像素点时，通过所述未丢失的像素点的均值对所述下采图像中丢失的像素点进行初始化；以及在判定不能够找到所述未丢失的像素点时，通过双线性插值的方法对所述下采图像中丢失的像素点进行初始化。

在该技术方案中，对下采图像中丢失的像素点进行的初始化过程具体是对下采图像中丢失的像素点进行预先的修补过程。