[发明专利]图像处理、模型训练、直播间背景切换方法

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取待抠图的目标图像以及所述目标图像的背景图像；

利用抠图模型中的特征提取网络，对所述目标图像以及所述背景图像进行特征提取，得到特征图；

利用所述抠图模型中的解码器，结合所述背景图像和/或所述目标图像，对所述特征图进行特征解码，得到第一解码结果图；

利用所述抠图模型中的深度引导滤波网络，在所述目标图像的引导下，对所述第一解码结果图进行深度引导滤波，得到目标抠图蒙版。

2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括编码器以及特征计算网络；利用抠图模型中的特征提取网络，对所述目标图像以及所述背景图像进行特征提取，得到特征图，包括：

采用所述编码器，对所述目标图像以及所述背景图像进行下采样编码，得到编码特征图；

采用所述特征计算网络，利用空洞卷积核对所述编码特征图执行深度分离卷积计算，得到多通道的语义特征；并采用逐点卷积，对所述多通道的语义特征进行通道整合，得到所述特征图。

3.根据权利要求2所述的方法，其特征在于，所述编码器，包括：不同分辨率的多个编码层；采用所述编码器，对所述目标图像以及所述背景图像进行下采样编码，得到编码特征，包括：

针对所述多个编码层中的任一编码层，根据所述编码层的预设的卷积核以及下采样率，对所述编码层的输入数据进行下采样编码，得到具有设定分辨率的编码特征图；所述多个编码层的分辨率依次递减；

其中，所述多个编码层中，首个编码层的输入数据为所述目标图像以及所述背景图像，非首个编码层的输入数据为前一层输出的编码特征图。

4.根据权利要求3所述的方法，其特征在于，所述解码器包括：不同分辨率的多个解码层；利用所述抠图模型中的解码器，结合所述背景图像和/或所述目标图像，对所述特征图进行特征解码，得到第一解码结果图，包括：

针对所述多个解码层中的任一解码层，根据所述解码层的预设的卷积核以及上采样率，对所述解码层的输入数据进行上采样解码，得到具有设定分辨率的第二解码结果图；所述多个解码层的分辨率依次递增；

其中，所述多个解码层中，首个解码层的输入数据包括：所述特征图，非首个解码层的输入数据包括前一层输出的解码结果图；所述多个解码层中，至少一个解码层的输入数据包括下采样至对应分辨率的背景图像和/或目标图像。

5.根据权利要求4所述的方法，其特征在于，所述多个解码层中，任一解码层的输入数据还包括：分辨率相同的编码层输出的编码特征图。

6.根据权利要求4所述的方法，其特征在于，根据所述解码层的预设的卷积核以及上采样率，对所述解码层的输入数据进行上采样解码，得到具有设定分辨率的第二解码结果图，包括：

若所述解码层对应的分辨率大于预设分辨率阈值，则根据所述解码层预设的空洞卷积核以及上采样率，对所述解码层的输入数据进行深度分离卷积，得到所述解码层对应的具有设定分辨率的所述第二解码结果图。

7.根据权利要求1-6任一项所述的方法，其特征在于，利用所述抠图模型中的深度引导滤波网络，在所述目标图像的引导下，对所述第一解码结果图进行深度引导滤波，得到目标抠图蒙版，包括：

在所述深度引导滤波网络中，根据所述第一解码结果图上的像素点的特征值以及预设的透明度算子，对所述第一解码结果图上的像素点的透明度进行归一化处理，得到低分辨率的抠图蒙版；

将所述低分辨率的抠图蒙版与所述第一解码结果图进行通道合并，得到通道合并结果；

对所述通道合并结果进行上采样，得到与所述目标图像具有相同分辨率的目标通道合并结果；

在所述目标图像的引导下，对所述目标通道合并结果进行联合上采样，得到高分辨率的抠图蒙版，作为所述目标抠图蒙版。

8.根据权利要求1-6任一项所述的方法，其特征在于，利用抠图模型中的特征提取网络，对所述目标图像以及所述背景图像进行特征提取之前，还包括：通过CPU加载并运行所述抠图模型。