[发明专利]基于深度学习的时尚服装图像分割方法

摘要

本发明涉及一种基于深度学习的时尚服装图像分割方法，所述的基于深度学习的时尚服装分割方法包括以下步骤：深度神经网络服装模型的构建、反向误差传播的损失函数设计和模型训练策略；所述的深度神经网络服装分割模型包括特征提取模块、服装语义信息提取模块和服装分割预测模块；所述的损失函数包括关键点位置的回归函数、关键可见性损失函数、带权重的服装预测类别交叉熵损失函数以及服装位置的回归损失函数；所述的模型训练策略包括权重参数初始化方法、数据的预处理、优化算法以及训练步骤。其优点表现在：能够对复杂图像中人物上半身衣服、下半身衣服，以及全身衣服搭配进行自动分割识别，有利于针对时尚服装领域设计的深度学习和网络训练。

主权项

1.一种基于深度学习的时尚服装图像分割方法，其特征在于，所述的基于深度学习的释放服装图像分割方法包括以下步骤：S1、深度神经网络服装分割模型的构建：S11、所述深度神经网络服装分割模型包括图像特征提取模块、服装语义信息提取模块、服装分割预测模块；S12、所述的图像特征提取模块包含卷积层、最大池化层、批量归一化、激活层，所述的激活层在批量归一化层之后，所述的卷积层在激活层之后，批量归一化层、激活层、卷积层组成一个特征提取块，共有24个特征提取块；每一个特征之间接一个最大池化层，除了图像特征提取模块的最后一个层，其采用了平均池化层；在前向传播过程中，图像特征提取模块的数据流每次都会跨过三个特征提取块，并与经过该三个特征提取块的输出进行拼接，在反向传播过程中，误差会跨层传播到离输出层更远的层；S13、所述的服装语义信息提取模块包括服装关键点预估模块、服装局部特征提取模块、服装全局特征提取模块；所述的服装关键点预估模块由一个卷积层和两个全连接层组成，其输入为图像特征提取模块的输出。其输出包含两个分支，其一为预测的服装关键点位置信息，其二为服装关键点的可见性信息；这两个分支的输出都作为服装局部特征提取模块的输入；所述的服装局部特征提取模块包括一个卷积层和一个全连接层，其输入除了如前所述的服装关键点位置信息和关键点可视化信息外，还有图像特征提取模块的输入；所述的服装全局特征提取模块包含一个卷积层和全连接层，其进一步地优化了从图像特征提取模块所提取的全局特征；S14、所述的服装分割预测模块包含一个全连接层，一个softmax模块，一个regression模块；所述的softmax模块输出类别的概率，即分类为上身服装，下身服装或者全身服装的概率；所述的regression模块输出上身服装、下身服装、全身服装的具体位置；S2、反向误差传播的损失函数设计：本发明中的损失函数包括关键点位置的回归损失函数、关键点可见性损失函数、带权重的服装预测类别交叉熵损失函数以及服装位置的回归损失函数；S21、首先是关键点位置的回归损失函数，将图像作为RGB三通道数据输入深度神经网络服装分割模型，利用关键点数据标注以及服装关键点预估模块计算关键点预估损失，该损失是经过了L2正则化的回归修正，关键点位置的回归损失函数定义如下：其中m表示训练集样本的数量，表示第i个样本的关键点位置的真实标注，l_i表示第i个样本的关键点位置的预测估计，v_i表示关键点可见性的向量。值得一提的是，关键点可见性变量弥补了关键点真实位置标注的缺失，在反向传播中，如果关键点被遮挡了，也就是v_i向量对应位置的值为0，则误差就不会进行反传；S22、其次是关键点可见性损失函数，关键点可见性信息的意义在于当图片中的服装有变形或者被东西遮挡，关键点可见性信息可以让服装依然可以被准确的分割识别出来。关键点可见性损失函数同样经过了L2正则化的回归修正，其定义如下：其中m表示训练集体样本的数量，表示第i个样本的真实可见性标注向量，v_i表示第i个样本的预测可见性标注向量；S23、带权重的服装预测类别交叉熵损失函数，其具体定义如下：其中m表示训练集样本的数量，xi表示第i张时尚服装图像，ci表示第i张时尚服装图像的类别标签向量。cofpos和cofneg是两个权重系数，主要由训练集中正负样本的比例决定；S24、服装位置的回归损失函数定义与关键点位置的回归损失函数、关键点可见性损失函数相似，也是经过了L2正则化的回归修正，其定义如下：其中m表示训练集样本的数量，表示第i张时尚服装图像的类别真实位置向量，loc_i表示第i张时尚图像的类别预测位置向量；S3、模型训练策略：模型训练的策略包括权重参数初始化方法、数据集的预处理、优化算法以及训练步骤；S31、所述的权重参数初始化方法，本发明中采用了Xavier方法对深度神经网络服装分割模型进行初始化；S32、所述的数据集预处理表示在数据喂给深度神经网络服装分割模型进行训练前，采用图像增强技术对训练数据进行扩充，使用的图像增强技术有水平翻转、垂直翻转、镜像翻转、亮度变化、色度变化、饱和度变化，通过这些增强技术使得训练集比初始的增加了6倍，然后采用交叉验证的方法将数据集分割为6:2:2，其中六成作为训练数据，两成作为验证数据，两成作为测试数据；S33、所述的优化算法，本发明中使用了Adam优化算法；S34、所述的训练步骤中，在训练时需要将上述四个损失函数带一定的权重结合起来进行优化；第一步，将服装关键点预估模块的训练作为主任务，其他模块作为辅任务；完成这一步操作后，得到了关键点位置预估和关键点可见性向量预告，此时给Llandmarks和Lvisibility分配较大的权重，而其他模块的输出的损失分配较小的权重；关键点预估的训练用其他任务来进行辅助的原因是它们之间有相关性，结合优化会导致更好的更快的收敛效果；第二步，深度神经网络服装分割模型最终的输出是服装类别的概率，分类为上身服装，下身服装或者全身服装和上身服装、下身服装、全身服装的具体位置，这一步中使用了预估的关键点和可见性进行池化局部特征，此时给这两个输出的损失Lclothes和Lloc分配较大的权重；以上这两步交替佚代，知道总的损失收敛。