[发明专利]用于3D人体姿态估计的多视角特征融合方法及系统

说明书

本发明公开了用于3D人体姿态估计的多视角特征融合方法及系统，该方法包括：获取需要姿态估计的不同视角的目标图像；将目标图像经过图像预处理后，输入到训练好的MVP‑att姿态估计模型中，输出3D人体姿态估计的结果；所述MVP‑att姿态估计模型通过以下步骤训练得到：通过编码器对多视角输入的多个目标图像分别进行采样，提取得到多个单视图的2D人体姿态表达的深度特征图；输入特征转换模块，实现多视图的深度特征图与相机姿态的解耦；使用基于混合注意力机制的多视角特征融合机制模块从解耦后的深度特征中自动选择有效深度特征，按照视角融合成统一的3D人体姿态表征。本发明能够将任意数量的多视图深度特征聚合成3D人体姿态表征。

技术领域

本发明涉及3D人体姿态估计领域，尤其涉及一种基于混合注意力机制的用于3D人体姿态估计的多视角特征融合方法及系统。

背景技术

多视角3D人体姿态估计是近年来伴随深度学习算法兴起的计算机视觉领域内研究的热点分支，其作为一种基础技术服务于影视动画制作、虚拟现实、医疗康复等广泛的下游应用。传统基于标记的光学式动作捕捉技术在3D人体姿态估计的问题上已经取得了优异的效果，但这种方案部署流程繁琐、场地要求苛刻，这极大的限制了3D人体姿态估计在虚拟现实、动作分析等低精度、高灵活性场景的进一步推广。

近年来，随着深度学习算法在计算机视觉领域大放异彩，基于深度学习的多视角3D人体姿态估计方法快速发展，取得了不错的效果。目前，主流的多视角3D人体姿态估计方法可以划分位两个步骤：1)利用深度神经网络构造2D人体姿态编码器，提取多视角下的2D人体姿态热度图；2)基于多视角2D人体姿态热度图，通过三角测量技术或深度神经网络估计3D人体姿态。这类技术方案面临的一个核心难点问题是：不同视角因为人体位姿、前景环境等因素引起的局部遮挡。这会使得2D人体姿态编码器所提取的多视角热度图存在较大的偏差，从而严重影响后续3D人体姿态估计器的性能。

针对上述问题，已有研究者从多视角特征融合的角度提出了可行的解决方案，并取得了不错的效果。现有技术方案大体上可以分为两类：1)多视角2D热度图融合，这种方法将当前视图关节点热图任意位置的响应值与其在其他视图对应极线上的最大响应值融合；2)3D人体姿态表征学习，该方法将不同视图的人体姿态特征与相机姿态解耦，然后学习不同视图对应的统一3D人体姿态表征。方式1仅在推理出2D人体姿态后多次增强其热度图，实现优化单视角2D人体姿态的目标。这种方式在推理3D人体姿态时没有充分利用多视图的图像特征，其性能高度依赖于2D人体姿态估计器，同时这种处理方式也无法构造端到端的学习模型。方式2则存在如下两个重要缺陷：1)没有让模型选择有效特征进行融合；2)忽略了每个通道特征图局部空间的相关性。这些问题的存在，使得“局部遮挡”问题的解决方案有着更多的可能性，最终提出一种新的姿态估计方法，使得生成统一的3D人体姿态表征，得到3D人体姿态估计的最终结果。

发明内容

本发明提供了一种用于3D人体姿态估计的多视角特征融合方法及系统，用以解决目前主流基于深度学的3D人体姿态估计技术方案中的“局部遮挡”的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种用于3D人体姿态估计的多视角特征融合方法，包括以下步骤：

获取需要姿态估计的不同视角的目标图像；

将目标图像经过图像预处理后，输入到训练好的MVP-att(Multi-View PoseAttention多视角注意力机制姿态估计模型)姿态估计模型中，输出3D人体姿态估计的结果；

MVP-att姿态估计模型通过以下步骤训练得到：

通过编码器对多视角输入的多个目标图像分别进行采样，提取得到多个单视图的2D人体姿态表达的深度特征图；

采用特征转换模块，将相机投影矩阵条件作用于每个深度特征图的图像坐标，映射转换为世界坐标，实现多视图的深度特征图中的深度特征进行标准化以及与相机姿态的解耦；