[发明专利]基于用户实时点击交互的自然图像抠图方法

说明书

本发明公开了一种基于用户实时点击交互的自然图像抠图方法，包括：获取输入的原始图像、以及与用户交互获得的包含前景与背景信息的指示图；根据指示图从原始图像的完整图像蒙版中提取仅包含指示图中前景信息的图像蒙版，作为初步图像蒙版；通过对初步图像蒙版进行不确定度估计，获得不确定度图，在不确定图的指导下，将初步图像蒙版与原始图像裁切出不确定度超过预设值的相应位置的像素块，再通过不含下采样的全卷积网络进行局部精修；得到局部精修结果后，贴回所述初步图像蒙版的相应位置处，得到精修后的图像蒙版。该方法仅使用极少的用户交互的情况下，性能大幅度领先现有的全自动抠图方法，并与目前最先进的基于三分图的抠图方法表现相当。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于用户实时点击交互的自然图像抠图方法。

背景技术

图像抠图(Image Matting)是计算机视觉领域的一个基础且具有挑战性的问题。它要求将前景物体精准的与背景分离，同时准确估计分离边缘附近的逐像素透明度(alpha)。因其具有广泛的使用场景，例如：图像合成与编辑、电影制作、视频会议中的虚拟背景等，已经被学术界及工业界研究了许多年。

一幅图像从图像合成的角度可以形式化地表述为如下的数学公式：

I_i＝α_iF_i+(1-α_i)B_i,α_i∈[0,1] (1)

上式中，i＝(x,y)表示输入图像I中的像素位置，α_i,F_i,B_i分别代表在像素点i处的前景物体透明度、前景值和背景值。该公式定义了图像成像的像素级解释：图像中的每一个像素点都是由前景和背景线性组合而成，而α_i就代表着前景与背景的比例关系，即透明度。当α_i＝1时，表示该像素点完全由前景像素值组成，即完全不透明；当α_i＝0时，表示该像素点完全由背景像素值组成，即完全透明；当α_i∈(0,1)时，表示该像素点由前景像素值与背景像素值线性组合而成，这种像素点位于前景区域与背景区域的交接区域，如：动物毛发、植物枝叶等位置。

图像抠图的目标就是将(1)式作为优化问题，求解由逐像素α_i构成的单通道图像蒙版(alpha matte)。对于每个像素点，这个问题需要从已知的图像I的3通道像素值，求解未知的单通道透明度、3通道前景像素值、3通道背景像素值共7个未知数，很明显，这是一个高度欠约束的问题。

为了解决该问题，许多经典的方法都依赖预先定义好的三分图(Trimap)作为额外输入来约束求解空间。三分图将一幅图像划分为三种区域：前景区域、背景区域和过渡区域。前景区域表示该区域内的所有像素完全由前景像素值构成，背景区域表示该区域内的所有像素完全由背景像素值构成。因此，图像抠图的任务简化为仅针对三分图中的过度区域回归出每个像素点的透明度，即α_i。因此，一些基于三分图作为辅助输入的图像抠图方法通常可以取得较好的性能表现。但是，绘制一幅合适的三分图是非常耗时费力的，对于一些复杂的例子，绘制时间甚至超过十分钟，这对于用户特别是非专业用户来说是极其不友好的。

随着深度学习的火热发展，近期出现了一些不需要三分图作为额外辅助输入的抠图方法。然而，它们的性能表现远差于基于三分图的抠图方法。这背后的主要原因在于：对于一些图像，由于缺少三分图的指导约束，深度学习网络对于哪个是待抠图的前景对象会产生歧义。为了应对这种歧义现象，有些方法只针对某种目标类别(例如：人像)收集大规模的抠图数据集用于训练深度学习网络。但是这种解决方案也存在不可扩展、成本昂贵等问题，尤其是如果用户想要针对训练集中没有出现过的类别进行抠图时，效果往往很差。另外，当一幅图像中如果出现多个人物(即前景)时，用户并不需要抠取所有的人物，因此，一些用户交互是不可避免的，关键就在于如何在交互过程中最小化用户的交互成本，并准确提取出用户指定的前景，但是，目前还没有较为有效的方案。