[发明专利]基于深度学习的人体解析方法和装置

说明书

本公开提供了一种基于深度学习的人体解析方法，获取人体RGB目标图像；搭建卷积神经网络，并通过卷积神经网络获取所述人体RGB目标图像的深度特征，人体RGB目标图像的深度特征为高维特征；通过姿态估计操作与人体分割操作对高维特征进行处理，获取相应结果和针对各任务的特征；通过获取相应结果和针对各任务的特征经过精修操作，再次输出姿态估计结果与人体分割结果。该方法具有模型随意可扩的强扩展性，以及可有效地提高模型的准确度，此外，由于使用的模型可同时获取两个任务的输出结果，对于需要同时用到人体关键点和人体分割的任务，具有高效性，灵活性与易用性。本公开还提供了一种基于深度学习的人体解析装置。

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种基于深度学习的人体解析方法和图像检索的古文字考释方法和装置。

背景技术

人体解析是一种重要的计算机视觉技术，如图1所示额人体解析范例图，是衣物检索，虚拟试衣等高级任务的重要基础，人体解析的精确程度直接决定了后续任务的完成情况。该技术可应用于多种场景，包括校园内教学质量评估、运动员动作解析、危险地区人员安全和暴力事件预警等。人体解析的任务是给一张包含人的图片，分类出人体上的每个部位，如上衣，裤子，袜子等。以往解决该问题的方法都是将语义分割的方法直接迁移过来，没有意识到人体解析任务自身存在可以利用的因素。

近年来，随着科技的快速发展，人工智能和计算机视觉领域有了长足发展，我国人工智能领域的投入越来越多。目标检测，图像分割等人工智能技术与各行各业融合一起，促进了行业的智能化也不断的提高着整体社会效率。

人体分割是图像分割的子任务，其目标是对一张带有人体的图片逐像素的分割出人体的每一个细粒度的部分并提供更精细的信息帮助理解图片，而人体姿势估计侧重于确定精确的重要身体关节的位置。人体分割是让计算机理解人的最重要的基础之一，人体分割的高精确度可以对一些高级应用产生巨大的影响，如行人重识别，行为监控，行人检测，虚拟试衣和商品自动推荐等。人体分割的传统方法在精度上已经完全不能满足需求，而现有的基于深度学习的人体分割技术方法大都直接采用图像分割的方法，没有考虑到人体各部分之间的关联性。

进一步地，现有技术中，基于卷积神经网络的人体分割方法这一公开涉及一种先用卷积网络提取特征，再同时全连接网络提取ROI(感兴趣区域)和全卷积获得最后的分割结果，利用分类回归和分割损失和反向传播算法更新模型参数，从而获得人体分割结果；另一种基语义一致性的的人体衣物分割方法，该公开一种语义一致性的人体衣物分割方法，首先对数据集中的单帧图像寻找其在语义空间中的相邻图片并组成图片对；利用相邻关系在流行空间联合建模；确定衣物分割的预测模型；使用所述预测模型解析图片中衣物的语义信息。综上所述，现有技术中具有都没有考虑到人体分割中各个部分之间的关系，且具有准确精度低的缺点。

发明内容

为了解决现有技术中的技术问题，本公开实施例提供了一种基于深度学习的人体解析方法和装置，该方法在考虑到关联性后，首先可以更加准确的提取身体的关键点，在有遮挡的情况下也可以很好的进行识别，例如手臂放在身体后；其次可以更全面的对人体进行分割和解析，尤其是对人体边缘部分的分割可以考虑到人体各部位之间的关联性。在今后的实际应用中，拥有更高的工业实践性。

第一方面，本公开实施例提供了一种基于深度学习的人体解析方法，包括以下步骤：获取人体RGB目标图像；搭建卷积神经网络，并通过所述卷积神经网络获取所述人体RGB目标图像的深度特征，所述人体RGB目标图像的深度特征为高维特征；通过姿态估计操作与人体分割操作对所述高维特征进行处理，获取相应结果和针对各任务的特征；通过获取所述相应结果和针对各任务的特征经过精修操作，再次输出姿态估计结果与人体分割结果。

在其中一个实施例中，所述获取人体RGB目标图像包括：获取LIP数据集，其中，所述LIP数据集包括人体分割标签和姿态估计标签。