[发明专利]基于三分图视觉Transformer语义信息解码器的抠图方法与装置

说明书

本发明公开了一种基于三分图视觉Transformer语义信息解码器的抠图方法：用连续的卷积层构建起一个轻量化的细节特征提取层，使用该特征提取层处理图片I，得到细节特征图组{D₁,D₂,D₃,D₄}；使用三分图视觉Transformer语义信息解码器处理细节特征图D₄和三分图Trimap，得到语义特征图S₄；通过连续使用抠图解码器，处理上层语义特征图和对应细节特征图，得到融合语义特征图以及层级抠图输出；在训练数据集上训练构建的基于三分图视觉Transformer解码器的抠图网络至收敛；使用训练好的抠图网络处理待抠图图片，最后一层抠图解码器输出的层级抠图输出结果，即为最终的抠图结果。本发明还提供了相应的基于三分图视觉Transformer语义信息解码器的抠图装置。

技术领域

本发明属于深度学习和计算机视觉技术领域，更具体地，涉及一种基于三分图视觉Transformer语义信息解码器的抠图方法与装置。

背景技术

图像抠图是计算机视觉中的一项重要任务。它可以被广泛应用在诸如图像编辑，图像合成，特效制作等任务之中。在过去的几十年里，涌现出了大量抠图的方法：如基于采样的方法或基于传播的方法。然而，由于这些方法通常使用的是人工构造的特征，这些特征往往受制于像素点的颜色、距离等，这使得它们很难处理复杂、需要更多语义信息的情况。

抠图任务用公式可表示为：I＝αF+(1-α)B，其中I表示原图，F表示前景图片，B表示背景图片，α表示前景的透明度。求解抠图问题，即求解上式中的α值。然而，由于前景图片F和背景图片B均未知，这使得这一问题在传统思路里为欠约束问题。为此，人们提出了三分图的概念。如下图1所示，三分图是一种人工绘制的提示性图片，它将图片分为了确定前景，确定背景和不确定区域。在确定区域α＝1/0，不确定区域即为待求解区域。通过使用三分图，上式变得可解。三分图的使用，也沿用到了后来的基于深度学习的抠图方法中。

近年来，随着深度学习的发展，计算机视觉领域取得了突破性的进步。在计算机视觉下游的图像抠图领域中，已经出现了大量基于卷积神经网络的抠图方法，这些方法推动了图像抠图领域的发展。然而，随着视觉Transformer的快速发展，视觉Transformer已经逐渐取代卷积神经网络，成为了计算机视觉领域的主流趋势。一方面，视觉Transformer的注意力机制可以使得网络的感受野大幅度提高，提取语义信息的能力增强，从而提升了算法的精度。另一方面，视觉Transformer可以被大量数据进行预训练，经过预训练的视觉Transformer可以在下游任务中表现出更优秀的性能。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于三分图视觉Transformer语义信息解码器的图像抠图方法，通过本发明设计的三分图视觉Transformer语义信息解码器和抠图解码器，提升抠图性能。

为实现上述目的，按照本发明的一个方面，提供了一种基于三分图视觉Transformer语义信息解码器的抠图方法，包括如下步骤：

(1)用连续的卷积层构建起一个轻量化的细节特征提取层，使用该特征提取层处理图片I，得到细节特征图组{D₁,D₂,D₃,D₄}；

(2)使用三分图视觉Transformer语义信息解码器处理细节特征图D₄和三分图Trimap，得到语义特征图S₄；

(3)通过连续使用抠图解码器，处理上层语义特征图和对应细节特征图，得到融合语义特征图以及层级抠图输出；

(4)在训练数据集上训练由步骤(1)-(3)构建的基于三分图视觉Transformer解码器的抠图网络至收敛；