[发明专利]基于邻域和非邻域平滑先验的图像前景精准提取方法

说明书

技术领域

本发明属于图像处理、计算机视觉技术领域，是一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法。

背景技术

图像前景精准提取旨在将图像I分解成前景F和背景B。从数学角度上讲，图像I是F和B按如下方式的线性组合：

C＝Fα+B(1-α)

其中，α定义了每一个像素的不透明度，它的取值位于[0，1]。精确的图像提取在不同的图像和视频编辑应用中有很大的作用。然而，由于未知点的个数比已知方程式的个数多很多，导致该方程不可解。所以，通常采用的方法是利用用户画笔式交互或输入一张黑白灰三分图(trimap)来简化这个问题的求解。

现在的图像方法大致可以分为三类：基于采样(Sampling-Based)的方法，基于相似度(Affinity-Based)的方法以及结合这两种方法的综合方法。

基于采样的图像前景精准提取同时估算一个像素点的α值和其前景色，背景色。很多方法采用不同的参数化的或非参数化的模型来对已知前景区域和背景区域的临近像素点进行采样。Ruzon和Tomasi假定未知像素点在前景区域边缘的狭窄带状区域。后来这一方法被Chuang等人用贝叶斯框架加以扩展。这些方法在未知像素点临近前景边缘，同时未知像素点的个数相对比较少时效果比较好。Rhemann等人提出了一种基于测地线距离采集样本的改进颜色模型。共享图像前景精准提取(Shared matting)方法沿着光线的不同方向对像素点进行采样。总的来说，这些方法在颜色邻域平滑的情况下有比较好的效果。

基于相似度的图像前景精准提取，独立于前景颜色和背景颜色解决了精准对象提取(alpha matte)问题。泊松图像前景精准提取方法(Poisson matting)假定掩像(alpha matte)的梯度与图像的梯度是成比例的。基于随机游走算法的图像前景精准提取(Random walk matting)方法采用随机游走算法根据相邻颜色相似度来求解α值。基于闭合式方法的图像前景精准提取(Closed-form matting)方法假定邻域窗口上的颜色线模型，通过最小化一个花费函数来解决精准对象提取(alpha matte)问题。基于谱分析法的图像前景精准提取(Spectral matting)方法通过探索其与谱聚类的关系将其扩展成一个非监督的方法。拉普拉斯图像提取与不同的数据约束，先验或基于学习的方法结合起来以解决图像提取问题。然而，在邻域平滑的假设下，不足以解决复杂图像问题。因此，我们将其与非邻域平滑先验结合起来提升结果。

综合采样和相似度的图像前景精准提取方法在前两类方法之间做了很好的平衡。鲁棒性图像前景精准提取(Robust Matting)方法首先采样具有高置信度的样本，然后使用随机游走算法最小化图像前景精准提取能量。全局采样图像前景精准提取(Global sampling matting)采用来自PatchMatch算法中的随机寻找算法来寻找全局最优样本。

在基于闭合式方法的图像前景精准提取(closed-form matting)中，图像前景精准提取的拉普拉斯算子矩阵是根据颜色线模型得到的，用来约束邻域窗口内的精准对象提取(alpha matte)。这种邻域平滑先验可以与从颜色采样中获得的数据集结合起来。这种平滑的先验在只有恒定数量前景色和背景色的图像区域内效果比较好。He等人采用广义的Patchmatch方法提升了颜色采样的效果。近期研究表明数据集和邻域平滑集的组合可以产生高质量的结果。然而，在计算拉普拉斯算子矩阵的时候设置一个合适的邻域窗口大小是不容易的。小的窗口可能不足以捕获到结构的细节信息。另一方面，大的窗口会破坏颜色线模型，同样导致不好的结果。

近期，陈等人提出一种流形保持编辑传播的方法，并将其应用到了透明图像提取中。我们观察到这其实是一种新型精准对象提取(alpha matte)上的非邻域平滑先验。它将远处像素点的α值联系到了一起，这与基于拉普拉斯的图像前景精准提取(Laplacian matting)形成了互补。当仅应用这种非邻域的平滑先验时，它可能捕获不到半透明物体的邻域结构信息。因此我们提出将这种非邻域平滑先验与邻域拉普拉斯平滑先验结合起来，然后计入一个平凡数据集。我们新型的图像提取算法在标准测试数据集上展现了良好的性能。

发明内容

本发明的目的是提出了一种新型的基于邻域和非邻域平滑先验的图像前景精准提取方法，这种新型的方法在标准测试数据集上有良好的表现。

为完成本发明的目的，本发明采用的技术方案是：