[发明专利]一种适用于移动端的实时人体抠图方法

权利要求书

1.一种适用于移动端的实时人体抠图方法，其特征在于，包括以下步骤：

S1：数据集准备，包括数据采集和数据标注；

S2：构建分割网络输入所述数据集；

S3：构建轻量级U型分割网络；

S4：构建分割网络的损失函数；

S5：对网络进行反向传播，更新网络参数，获取训练好的分割模型。

2.如权利要求1所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S1中的数据采集，还包括：搜集包含多张人像数据的数据集，所述数据集包含室内和室外多种生活场景、人体的不同姿态，不同年龄段和肤色的人群；所述数据集包含的人像数据为单人图像。

3.如权利要求1所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S1中的数据标注包括：在图像中标注人像掩膜，背景区域像素值为0，人像区域像素值为255。

4.如权利要求1所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S2中，所述数据集包括当前帧及所述当前帧对应的粗糙人像掩膜，所述粗糙人像掩膜可以是前一帧的人像分割掩膜或手机相机采集的粗糙掩膜。

5.如权利要求4所述的适用于移动端的实时人体抠图方法，其特征在于，所述输入数据集为RGBA四通道图像，所述图像像素尺寸为192×256；具有所述尺寸的所述图像可保证网络足够的处理速度和抠图效果。

6.如权利要求1所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S3中的U型分割网络，包括编码模块和解码模块，所述编码模块和解码模块均由残差U型模块组成，对所述残差U型模块进行轻量化设计，以减小网络计算量，保证网络推理速度。

7.如权利要求6所述的适用于移动端的实时人体抠图方法，其特征在于，所述残差U型模块包括不同数量的卷积模块、下采样模块和上采样模块；所述残差U型模块中的卷积和采样模块的数量随网络结构深度的增加递减；

所述卷积模块包含深度可分离卷积层、归一化层、激活函数层；所述深度可分离卷积层用于减少网络参数，减少网络计算时间；所述激活函数层为Relu6函数；所述残差U型模块复用自身模块内的多尺度信息，同时获取局部和全局的上下文信息。

8.如权利要求6所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S3还包括：

S31：跨越连接，将所述编码器中各个U型模块提取的底层特征，跨越连接到所述解码器对应的模块，作为该模块的输入；

S32：解码阶段，在不同层对特征图进行双线性插值，与所述跨越连接的特征进行通道连接，送入到所述残差U型模块；

S33：在预测模块，提取所述解码阶段不同层的特征图进行通道连接，对连接后的特征进行卷积，利用sigmoid激活函数得到预测的图像掩模；

S34：在所述解码阶段利用复合损失函数，对网络进行密集监视。

9.如权利要求1或8所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S4中的复合损失函数，是利用均值方差函数作为网络的损失函数，所述均值方差定义：

其中，y_i为第i个数据的真值，为第i个数据的预测值；

所述网络的损失函数包括三部分：主损失函数和两个辅助损失函数；所述主损失函数为网络最后一层所述sigmoid激活函数输出与掩膜真值的均方差；将所述残差U型模块的两个低分辨率特征图进行上采样，进行卷积和所述sigmoid函数激活，计算激活值跟真值的均方差，作为辅助损失函数。

10.如权利要求1所述的适用于移动端的实时人体抠图方法，其特征在于，所述步骤S5还包括：网络训练和权值更新，即在训练所述网络时，利用AdamW优化器，根据预测值和真值之间的损失，对整个分割网络进行反向传播；当验证集的损失不再下降时，停止所述网络的训练；

网络量化和部署，所述网络是在FP32精度上进行训练；在移动端部署时，对所述网络进行量化，并对所述网络进行FP16量化。