[发明专利]一种基于语义一致性的人体衣物分割方法

权利要求书

1.一种基于语义一致性的人体衣物分割方法，其特征在于包括以下步骤：

S1、获取用于训练人体衣物分割的图像数据集，并定义算法目标；

S2、对数据集中每个单帧图像寻找其在语义空间中的相邻图片并组成图片对；

S3、对每一组图片对在流型空间中的相邻关系进行联合建模；

S4、建立衣物分割的预测模型；

S5、使用所述预测模型解析图片中衣物的语义信息；

所述S3包括以下子步骤：

S31、使用四层卷积操作和池化操作对图片对中的I_train和I′_train分别提取特征得到S_I和S′_I，即：

S_I＝f_single(I_train；θ)

S′_I＝f_single(I′_train；θ)

其中f_single()为四层卷积操作和池化操作构建的函数，θ为卷积参数；

S32、对S31中得到的特征S_I和S′_I进行融合得到融合后特征S_interaction：

S_interaction＝(1-α)*S_I+α*S′_I

S33、使用三层卷积操作对融合后特征S_interaction进行图片语义信息的重构，得到大小为图像I_train八分之一大小的语义分割图同时使用四层卷积和上采样操作对单个图像特征S_I进行语义信息重构，得到与图像I_train大小一致的语义分割图

S34、对所有的图片对执行S31-S33的操作。

2.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法，其特征在于所述S1中的图像数据集包括单帧图像I_train和人工标注的语义分割图P_train；所述的算法目标为预测单帧图像中的衣物语义分割图

3.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法，其特征在于所述S2包括以下子步骤：

S21、对于每个单帧图像I_train，从预训练好的人体姿态估计模型Openpose中提取人体姿态特征C_pose和图像表观特征C_appearance，通过串接C_pose和C_appearance，得到单帧图像I_train对应的图片特征C_I；

S22、对图像数据集中的图片两两计算相似度，其中，任意两张图片I_train和I′_train的相似度α计算如下：

其中C_empty为与C_I图片大小一样且值全部为0的一张图像的图片特征；C′_I为对于单帧图像I′_train，根据与单帧图像I_train相同的方法得到的图片特征；Euclidean()表示计算欧氏距离；

S23、通过相似度计算和比较，对每个单帧图像I_train，检索到与之最相似的图像I′_train，得到图片对(I_train，I′_train)以及对应的相似度值α。

4.根据权利要求1所述的一种基于语义一致性的人体衣物分割方法，其特征在于所述S4包括以下子步骤：

S41、建立深度卷积神经网络，神经网络的输入为一对图片对(I_train，I′_train)，输出为相对于图片I_train的语义分割图像神经网络的结构表示为映射用公式表示为：

其中θ₁为预测模型预测语义分割结果时所用的卷积参数，f()为深度卷积神经网络的预测函数；

S42、神经网络的损失函数为：

其中P和P_small分别表示对应的真实语义分割图像和对应的真实语义分割图，表示原始尺度的预测语义分割图和其真实语义图片的损失误差；表示小尺度的预测语义分割图和其真实语义图片的损失误差，所述小尺度为原始尺度的八分之一；λ为权重参数；

S43、使用Adam优化方法和反向传播算法在损失函数L下训练整个神经网络，直到神经网络收敛。