[发明专利]一种基于多任务深度学习的无绿幕人像实时抠图算法

权利要求书

1.一种基于多任务深度学习的无绿幕人像实时抠图方法，其特征在于，包括以下步骤：

第1步：对原始的多分类多目标检测数据集进行二分类调整，输入包含人像信息的图像或视频，对图像或视频进行对应的数据预处理，得到原始输入文件的预处理数据；

第2步：采用编码器-逻辑回归构建用于人体目标检测的深度学习网络，输入第1步得到的预处理数据，构造损失函数，训练和优化用于人体目标检测的深度学习网络，得到人体目标检测模型；

第3步：从第2步中人体目标检测模型的编码器中提取特征图，进行特征拼接融合多尺度图像特征形成人像Alpha掩码抠图网络的编码器，实现人体目标检测与人像Alpha掩码抠图网络的编码器共享结构；

第4步：构建人像Alpha掩码抠图网络的解码器，同第3步中的编码器共享结构形成端到端的编码器-解码器人像Alpha掩码抠图网络结构，以包含人体信息的图像以及三元图trimap为输入，构造损失函数训练和优化人像Alpha掩码抠图网络；

第5步：向第4步训练完毕的网络，输入第1步中获取的预处理数据，通过第2步中人体目标检测模型的逻辑回归输出人像前景的候选框ROI Box和候选框中的人像trimap三元图；

输出人像前景扩展候选框ROI Box和候选框中的人像trimap三元图，具体包括：

5.1)人像前景扩展候选框判断标准RIOU，对原有判断基础进行改进，改进后的判断标准RIOU，如公式(7)所示：

其中,ROI_edge为能够包裹住ROI_p和ROI_g的最小外接矩形候选框，[·]为候选框面积，ROI_p表示人像前景候选框的预测值，ROI_g表示人像前景候选框的真实值；

5.2)对人体前\背景二分类结果，先采用腐蚀算法去除噪声，再通过膨胀算法产生清晰的边缘轮廓，最终得到的人像三元图trimap，如公式(8)所示：

其中，前景f(pixel_i)表示第i个像素pixel_i属于前景，背景b(pixel_i)表示第i个像素pixel_i属于背景，otherwise表示像素无法确认属于前/后景的情况，trimap_i表示第i个像素pixel_i的alpha掩码通道值；

第6步：将第5步的人像前景候选框ROI Box和人像trimap三元图输入至第4步中构建的人像Alpha掩码抠图网络，最终得到人像Alpha掩码预测结果。

2.根据权利要求1所述的基于多任务深度学习的无绿幕人像实时抠图方法，其特征在于，第1步中，所述的数据预处理包括视频帧处理和输入图像尺寸重定。

3.根据权利要求1所述的基于多任务深度学习的无绿幕人像实时抠图方法，其特征在于，第2步中，所述的用于人体目标检测的深度学习网络，通过以深度残差神经网络主体的模型预测实现。

4.根据权利要求1所述的基于多任务深度学习的无绿幕人像实时抠图方法，其特征在于，第4步中，所述的解码器以上采样、卷积、SeLU激活函数与全连接层FC输出为主体结构。

5.根据权利要求4所述的基于多任务深度学习的无绿幕人像实时抠图方法，其特征在于，所述的上采样用来恢复编码器中下采样后的图像特征大小，采用SeLU激活函数，其中超参数λ,α为固定常数，激活函数表达式如公式(2)所示：

6.根据权利要求1所述的基于多任务深度学习的无绿幕人像实时抠图方法，其特征在于，在第4步中，构造损失函数训练和优化人像Alpha掩码抠图网络，具体包括：

4.1)Alpha掩码预测误差，如公式(3)所示：

其中，Loss_αlp表示Alpha掩码预测误差，α_pre,α_gro分别为预测和真实的Alpha掩码值，ε为一极小的常数；

4.2)图像合成误差，如公式(4)所示：

其中，Loss_com表示图像合成误差，c_pre，c_gro分别为预测和真实的Alpha合成图像，ε为一极小的常数；

4.3)综合损失函数为Alpha掩码预测误差和图像合成误差，如公式(5)所示：

Loss_overall＝ω₁Loss_αlp+ω₂Loss_com,ω₁+ω₂＝1 (5)；

其中，Loss_overall表示综合损失函数，ω₁，ω₂分别表示Alpha掩码预测误差Loss_αlp和图像合成误差Loss_com的权重值。