[发明专利]基于图表示和改进Transformer的人体解析方法

说明书

本发明公开了一种基于图表示和改进Transformer的人体解析方法。本发明从高维的特征表示嵌入为低维的图特征，并以改进的Transformer来进行推理计算，捕捉上下文特征关系，生成新的图特征重新解码为精解析图，从而以高效的方式迭代训练整个模型得到最终的解析结果。本发明仅根据人体层次结构的先验知识，更高效率地进行推理计算；对图表示的人体部位特征进行推理，能够在后续的迭代推理中节约更多的计算成本；改进了Transformer的结构，对人体各个部位特征的上下文信息进行全局性提取和整合，从而全面地感知不同人体部位的关联度，使得解析结果的精度更高。

技术领域

本发明涉及计算机视觉与图像处理技术领域，具体涉及一种基于图表示和改进Transformer的人体解析方法。

背景技术

人体解析是计算机视觉中一个重要且具有挑战性课题，它通过密集型预测每个像素点，由此划分多个语义来理解人体的各个部位。近年研究表明，人体解析被广泛应用于人体分析的任务，例如人体图像生成、虚拟试衣、姿态估计、行人重识别等。

人体解析是对人体进行语义分割，实际上是完成像素级的分类。由于每个像素点分别对应不同的语义标签，而这些不同类别的语义标签具有共享的特征和一定关联性。目前的方法分为三个方面：一是利用多种先验知识，根据多任务学习的方式，学习不同种类的特征，并尝试去挖掘这些特征之间的共享特征，由此逐步建立它们之间的关系，以达到好的解析效果；二是不直接通过先验数据，而从构建更好的特征表示的角度来开展工作，以新颖的网络结构的方式，如连接底层高分辨率特征和高层语义、扩大感受野、多尺度提取特征，通过加入跳跃连接、膨胀卷积、空洞空间金字塔池化等操作，或者以生成对抗网络设计对抗损失来获得增强的效果；三是从更接近人类视觉的角度，围绕注意力机制，提出通道注意力、自注意力等，而这些机制进一步被扩展为非局部网络、图卷积网络。

目前的现有技术之一，论文“Correlating Edge,Pose With Parsing”提出的基于人体姿势和边缘先验信息的人体解析方法，包括：基于骨干网络生成初始解析特征图，在骨干网络开设两个分支，分别用于姿势估计和边缘检测任务的训练，以大量的先验知识来捕捉丰富的结构信息。将这两个分支生成的特征，与初始解析特征在非局部网络中进行融合，最终输出人体解析结果。

该方法的缺点是：使用姿势和边缘特征，需要大量额外的先验数据来训练。另外，没有考虑标签的固有分类，即没有对人体部位的显式语义关联进行建模，这会在标签数目少且细粒度的情况下，识别效果难以令人满意。

目前的现有技术之二，论文“Feature Pyramid Transformer”提出的基于特征金字塔Transformer的人体解析方法，其由四个部分组成：特征提取的骨干网络；特征金字塔构造模块；用于特征交互的特征金字塔Transformer，通过三层尺度不同的特征图，构造出特征金字塔，将其输入Transformer进行计算；最后是具体任务的头网络。

该方法的缺点是：将三种特征图作为输入Transformer的序列，以近似逐像素来计算关联度，其对计算资源消耗非常大。

目前的现有技术之三，论文“Graph Pyramid Mutual Learning for Cross-Dataset Human Parsing”提出的基于图金字塔互学习的人体解析方法，包括：对输入的图片进行特征图提取，并转换为图特征，将这些图特征在图卷积神经网络中迭代训练，得到不同层次的图特征，并进行反变换，最终输出为解析特征图。

该方法的缺点是：该方法的图卷积神经网络需要不断迭代来弥补全局信息关联度获取不足的缺点，因为其在消息传递机制的过程中，不同人体结构层次间的共享信息难以并行计算，需要等待图结点信息的逐个更新。只考虑了特征级别的共享信息，而忽视了潜在的标签层次结构和语义上下文的关联性。

发明内容