[发明专利]基于编解码器网络和引导图的抠图方法

说明书

一种基于编解码器网络和引导图的抠图方法，根据原图绘制一张引导图并通过编解码器网络进行第一次预测得到前景蒙版，根据预测的前景蒙版对原引导图进行修改并由编解码器网络再次进行预测，循环往复直到获得精确抠图结果。本发明通过三元图、草图、点击图或全灰输入作为引导图均可以通过简单操作实现精确抠图。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于编解码器网络和引导图的抠图方法。

背景技术

抠图(Image Matting)是通过输入的图像产生一个前景蒙版用于将前景物体(要抠出的物体)与背景分离，一般抠图问题被建模为求解公式I_i＝α_iF_i+(1-α_i)B_i，其中α∈[0，1]，I表示的是输入图像(三通道)，α(单通道)表示的是前景蒙版，F和B(三通道)分别表示前景和背景区域，i表示的是每个像素点的位置；为求解这个方程，就需要引入额外的约束，一般的约束有三元图(trimap)或草图(scribbles)等。当前的抠图方法主要是基于深度学习的方法，这些方法的精度要明显优于传统的基于采样的和基于传播的方法。大多数抠图方法使用一个手绘的三元图作为引导图来提供引导信息，绘制三元图较为耗时，对用户输入不友好，三元图使用白色(值为1)，灰色(值为0.5)和黑色(值为0)的区域分别表示前景、过渡区域和背景区域。草图(scribblemap)和点击图(clickmap)同理，只是草图使用的是黑色和白色的曲线，相比三元图给定的信息要少，点击图使用的是圆，提供的信息更少，对神经网络的要求更高，但是对人工输入来说更加方便。在过去几年中，绝大多数的抠图方法使用的都是三元图并且取得较高的精度。

发明内容

本发明针对现有基于三元图的抠图技术，无法采用草图或点击图实现抠图的不足，提出一种基于编解码器网络和引导图的抠图方法，通过三元图、草图、点击图或全灰输入作为引导图均可以通过简单操作实现精确抠图。

本发明是通过以下技术方案实现的：

本发明涉及一种基于编解码器网络和引导图的抠图方法，根据原图绘制一张引导图并通过编解码器网络进行第一次预测得到前景蒙版，根据预测的前景蒙版对原引导图进行修改并由编解码器网络再次进行预测，循环往复直到获得精确前景蒙版，随后通过精确前景蒙版和输入图像获得要抠出的前景。

所述的编解码器网络包括：编码器、语义信息融合模块、跳跃连接模块和解码器，其中：编码器从输入图像和引导图在通道上连接而成的输入特征图中分别提取出多尺度深层特征图并输出至语义信息融合模块、提取出多尺度浅层特征图并通过跳跃连接模块输出至解码器；语义信息融合模块根据多尺度深层特征图进行特征融合与上采样，得到包含前景的轮廓信息的深层语义特征；解码器对深层语义特征进行上采样，同时与多尺度浅层特征图进行融合，最终得到前景蒙版。

所述的语义信息融合模块，包括：特征金字塔增强单元(FPEM)和联合上采样单元(JPU)级联，其中：特征金字塔增强单元从主干网络中提取多尺度特征并进行融合，增强语义信息，联合上采样单元将增强后的特征上采样得到深层语义特征。

所述的编解码器网络，通过基于深度学习的方法、使用公开抠图数据集进行基于渐进式三元图形变的训练，具体为：在训练过程中，随着训练步数的增加，输入网络的引导图中表示前景的区域面积与输入图像中前景区域的面积之比逐渐减少，输入网络的引导图中表示背景的区域面积与输入图像中背景区域的面积之比逐渐减少。输入神经网络的确定信息的量逐渐减少，使编解码器网络学会利用引导图中给定的有限的前景和背景信息预测前景蒙版。

所述的训练，其训练集和测试集使用的都是公开抠图数据集，其中训练集包含一定数量的前景图及其相应的前景蒙版，同时包含一定数量的背景图，测试集包含测试图片及相应的前景蒙版；损失函数使用L1、L2损失。

技术效果