[发明专利]单图输入自监督抠图模型训练方法、抠图方法及装置

说明书

本申请公开了一种单图输入自监督抠图模型训练方法、抠图方法及装置。该方法首先获取一张背景图片和n张通过标注的前景图片，对每张前景图片进行随机处理后放置在背景图片中的随机位置得到训练数据集；之后构建包括第一神经网络和第二神经网络的自监督抠图模型，并利用训练数据集训练抠图模型，具体包括了将生成图片输入到第一神经网络，并将第一神经网络的输出作为到第二神经网络的输入，最终得到输出结果。本申请解决了深度学习方法中标注图片获取困难的问题，用自监督的方法保持了数据的多样性和模型的鲁棒性；并且使用两阶段深度模型对前景和背景的分离进行一次提取和一次精修，使获取前景物品的任务有更高的自动化流程和更高的精确度。

技术领域

本发明涉及计算机视觉领域，特别涉及一种单图输入自监督抠图模型训练方法、抠图方法及装置。

背景技术

抠图是指将图片或影像的一部分从原始图片或原始影像中分离，成为单独图层的操作，传统视频美化和生成中需要对一个前景物品进行抠取，以达到更换背景的目的，在这样的需求场景下，需要得到前景物体的透明通道值，也就是每个像素上前景物体的透明值。前景物品包含多种多样的种类，物品的中间镂空部分、边缘毛发部分、透明部分等情况是抠图问题中难以处理的问题，由于是像素级标注，人工抠取时也需要大量的时间成本和精确度不高的问题。

目前的图像处理软件利用神经网络进行图像处理，不需要手动操作，能够提高图像处理的效率以及抠图的精确度。抠图技术可按是否使用CNN网络分为传统方法和深度学习方法，传统方法的抠图效果较好，但需要输入人工标注的trimap(三分图)，导致整个流程依旧不是全自动化；深度学习方法全过程自动化，但无背景图输入的模型效果较差。

发明内容

基于此，本申请实施例提供了一种单图输入自监督抠图模型训练方法、装置、计算机设备及存储介质，使获取前景物品的任务有更高的自动化流程和更高的精确度。

第一方面，提供了一种单图输入自监督抠图模型训练方法，该方法包括：

获取原始图片，其中包括获取一张背景图片和n张通过标注的前景图片，n为正整数；

生成训练数据集，将n张通过标注的前景图片分别进行随机处理后放置在所述背景图片中的随机位置后得到所述训练数据集，所述训练数据集中包括n张生成图片以及每张生成图片对应的alpha标签；

构建自监督抠图模型，所述抠图模型包括第一神经网络和第二神经网络；

利用所述训练数据集训练所述抠图模型，包括将生成图片输入到所述第一神经网络中得到前景特征图以及前景alpha通道值；

将所述前景特征图以及前景alpha通道值输入到第二神经网络中，得到输出结果。

可选地，所述将n张通过标注的前景图片分别进行随机处理，包括：

将n张通过标注的前景图片中的每一张图片分别进行随机缩放、翻转、旋转和裁剪操作。

可选地，将所述前景特征图以及前景alpha通道值输入到第二神经网络中，得到输出结果，还包括：

通过所述输出结果与此轮训练输入的生成图片所对应的alpha标签进行计算MSE损失，并根据损失值调整抠图模型中的参数。

可选地，所述第一神经网络为带注意力模块的UNet网络结构。

可选地，所述第二神经网络为CNN网络结构。

第二方面，提供了一种抠图方法，该方法包括：

将目标图片输入自监督抠图模型，所述自监督抠图模型由上述第一方面的训练方法得到，包括：将所述目标图片输入到所述第一神经网络中得到前景特征图以及前景alpha通道值；

将所述前景特征图以及前景alpha通道值输入到第二神经网络中，得到输出结果。