[发明专利]基于语义分割的服装颜色识别方法、装置和系统

说明书

本发明提供一种基于语义分割的服装颜色识别方法，包括：采集一定量不同场景下不同参数的人像图片，对采集的人像图片进行标注；对标注好的人像图片进行随机参数变换处理，生成初始样本集；基于JPPNet网络创建服装区域提取模型，从人像图片中提取出各自所包含的每个服装区域的局部图片；对提取出的局部图片进行背景变换和颜色分类标注；对标注好的局部图片进行尺寸统一和随机参数变换处理，生成训练样本集；基于分类器创建服装颜色识别模型，将训练样本集导入服装颜色识别模型以对服装颜色识别模型进行训练。本发明能够达到更高的识别成功率和识别准确率，尤其是对于图片中只有半身像、遮挡等复杂的情况，识别成功率和识别准确率的提升幅度更高。

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种基于语义分割的服装颜色识别方法、装置和系统。

背景技术

对服装颜色的识别一般通过将整个人像输入分类器之后直接对上下衣颜色进行分类，但此种方法对由于拍摄的角度、遮挡等问题造成的人像不全的情况、或者人像的姿态复杂的情况会的难以判断的问题。

除了直接用分类器判断之外，业界也有基于图神经网络做多标签分类，这样做的原因是可以利用上衣颜色、下衣颜色和人体其它属性之间的关系，但由于衣服颜色与人体其它诸如衣服款式、衣服长短等属性并不存在明显的联系，导致在其它属性的识别上可以有某种程度的提升，但对于衣服颜色的识别效果并没有什么正面的作用。

此外业界也有基于注意力机制的方法，此方法利用注意力技术，可以初步地定位上衣和下衣所在的位置，然后根据这些定位的特征来做颜色的判断，但由于人体并非一个形状不变的刚体，由于自身姿态发生变化，会造成遮挡、扭曲等现象发生，再加上视频监控场景并不能完全拍的到每个人的完全的全身照，注意力机制在面对这些复杂的场景的时候会出现定位不准确的问题，所导致的直接结果就是会影响最终的分类结果，产生识别错误的情况。

由于人体着装情况比较复杂，衣服的位置及区域会跟随所获得的人的图像的方式、遮挡的方式、人体姿态的变化、拍摄角度的变化等等发生很大的变化，以往的服装颜色识别方案，或者粗略定位服装的位置，或者根据人体关键点的位置，或者由整张图来直接判定。例如，现有发明专利中公开了一种基于深度学习的时尚服装图像分割方法，能够从复杂场景中识别出上身服装、下身服装的语义信息，将源图像输入专门针对时尚服装领域设计的深度学习网络进行训练，自动识别出图像中上身服装、下身服装，以及全身服装搭配。在服装局部特征提取模块中，使用服装关键点信息和关键点可视化信息对由图像特征提取模块输入的图像全局特征在关键点位置周围进行池化，得到局部特征，该局部特征与服装的变形与遮挡无关，因此极大地提升了服装的识别分割精度。其中，所述服装关键点信息包括各种服装的坐标点信息，例如对于上身服装有左领、右领、左袖、右袖、左下摆、右下角等坐标点。

但在实际应用中，这些方案都很难适应复杂情况的识别，例如在前述专利中，必须依赖服装的坐标点信息对服装区域进行定位，当某一服装区域的部分坐标点信息由于被遮挡或拍摄角度等原因导致丢失时，需要对丢失的坐标点进行拟合，除了因拟合过程计算量较大导致识别速度慢之外，拟合得到的坐标点的精度较低也使得实际应用中的最终识别效果大打折扣。

综上所述，上述技术在颜色判断上依旧存在诸如误判、漏判等等不少的问题，导致很多时候颜色判定不准确，很难达到实用的目的。

发明内容

本发明目的在于提供一种基于语义分割的服装颜色识别方法、装置和系统，采用大量标注的语义分割的数据，对人像图片中所包含的服装做细致的分割，提取出其所包含的每个服装区域的局部图片，再对每个服装区域的局部图片做处理后形成新图片送入分类器中进行颜色识别。相比其他服装颜色识别方法，本发明在相同的数据集基础上，能够达到更高的识别成功率和识别准确率，尤其是对于图片中只有半身像、遮挡等复杂的情况，识别成功率和识别准确率的提升幅度更高，例如，对于半身像的情况，本发明能够做到几乎完全判断准确。