[发明专利]图像处理、模型训练、直播间背景切换方法

说明书

本申请实施例提供一种图像处理、模型训练、直播间背景切换方法。图像处理方法中，抠图模型在特征提取阶段的输入数据为目标图像及其背景图像，可对目标图像以及背景图像上的特征进行挖掘。在解码阶段，抠图模型可在背景图像和/或目标图像的辅助下，对特征提取阶段输出的特征图进行解码，可使得解码过程进一步聚焦在目标图像与背景图像的差异上。在输出阶段，抠图模型使用深度引导滤波网络对解码结果图进行深度引导滤波，可对解码结果进行修正以使得抠图结果更加准确。基于这种根据已知的背景信息对前景与背景分离进行指导的实施方式，可在无需进行大量计算的情况下在目标图像和/或背景图像的辅助下得到较为准确的抠图结果，极大提升了抠图效率。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种图像处理、模型训练、直播间背景切换方法。

背景技术

在许多场景中，需要对图像进行抠图(image matting)处理，以将图像中的前景与背景分割出来。在一些场景下，需要对图像进行实时抠图处理，以满足背景或场景替换要求。例如，在直播场景中，需要从直播视频的实时画面中分割出人、物品等前景对象，并实时替换直播环境。

然而，现有的抠图算法计算量较大，抠图效率较低，无法满足实时性较高的抠图需求。因此，有待提出一种新的解决方案。

发明内容

本申请的多个方面提供一种图像处理、模型训练、直播间背景切换方法，用以降低抠图操作的计算量，提升抠图效率。

本申请实施例提供一种图像处理方法，包括：获取待抠图的目标图像以及所述目标图像的背景图像；利用抠图模型中的特征提取网络，对所述目标图像以及所述背景图像进行特征提取，得到特征图；利用所述抠图模型中的解码器，结合所述背景图像和/或所述目标图像，对所述特征图进行特征解码，得到第一解码结果图；利用所述抠图模型中的深度引导滤波网络，在所述目标图像的引导下，对所述第一解码结果图进行深度引导滤波，得到目标抠图蒙版。

本申请实施例还提供一种抠图模型的训练方法，包括：获取待抠图的目标图像以及所述目标图像的背景图像；利用抠图模型中的特征提取网络，对所述目标图像以及所述背景图像进行特征提取，得到特征图；利用所述抠图模型中的解码器，结合所述背景图像和/或所述目标图像，对所述特征图进行特征解码，得到第一解码结果图；利用所述抠图模型中的深度引导滤波网络，在所述目标图像的引导下，对所述第一解码结果图进行深度引导滤波，得到目标抠图蒙版；根据所述目标抠图蒙版以及所述目标图像的期望抠图蒙版之间的差异，对所述抠图模型进行参数优化。

本申请实施例还提供一种直播间背景切换方法，包括：获取直播间的背景图像并获取所述直播间实时产生的直播视频流；针对所述直播视频流中的任一帧直播图像，利用抠图模型中的特征提取网络，对所述直播图像以及所述背景图像进行特征提取，得到特征图；利用所述抠图模型中的解码器，结合所述背景图像和/或所述直播图像，对所述特征图进行特征解码，得到第一解码结果图；利用所述抠图模型中的深度引导滤波网络，在所述直播图像的引导下，对所述第一解码结果图进行深度引导滤波，得到目标抠图蒙版；根据所述目标抠图蒙版，对所述直播图像进行抠图处理，得到前景图像；将所述前景图像与预设图像进行融合，得到新的直播图像。

本申请实施例还提供一种电子设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本申请实施例提供的方法中的步骤。