[发明专利]一种基于原型分析的自监督多目三维人体姿态估计方法

说明书

本发明公开了一种基于原型分析的自监督多目三维人体姿态估计方法，包括以下步骤：标定相机参数并对多目图像进行预处理；构建Two‑Stage的深度网络；构建3D‑Pose‑Refine模块。上述技术方案通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。

技术领域

本发明涉及三维人体姿态估计领域，尤其涉及一种基于原型分析的自监督多目三维人体姿态估计方法。

背景技术

三维人体姿态估计是计算机视觉中较为热门的一个研究领域，其应用也是十分广泛，诸如动作识别，安防，人机交互等场景都有该技术的直接或间接应用。三维姿态估计仍然面临诸多挑战，相较于二维姿态估计而言，其主要有两点不同：首先，三维坐标系下，其拥有更大的姿态空间，具有歧义性；其次，对于数据驱动的算法，三维标注信息的获取是比较困难的，这就使得基于监督学习的方法不适用于野外场景。

有资料显示，近年来，深度卷积网络在视觉中发挥着越来越重要的作用，加之出现了大量的二维姿态数据集，二维人体姿态估计取得了较快的发展，已经达到了较高的准确性。而面对三维姿态数据集稀缺的问题，一部分研究开始转向基于弱监督和自监督技术的算法构建，其中主要包括基于二维投影一致性约束算法和基于多目几何约束的自监督算法。

原型分析法是一种无监督学习方法。类似于聚类学习中找寻数据样本与类别中心点的关联，原型分析法找寻一组数据样本的原型表示，同时满足数据样本为原型的凸线性组合。有研究表明，三维姿态空间中语义性较强的的姿态存在边界特性，因此利用原型分析方法构造三维姿态数据集的一组原型，以原型的凸组合表征和修正姿态是一个有效可行的方案。

中国专利文献CN104952105B公开了一种“三维人体姿态估计方法和装置”。方法包括：获得人体不同角度的多幅人体图像，该多幅人体图像为通过预置的多个采集不同方位图像的图像采集装置从多个不同角度摄取的人体的多幅图像；对每幅人体图像分别进行二维人体姿态估计，确定每幅人体图像中的该人体的目标二维人体姿态；依据预先构建的二维人体姿态与三维人体姿态的映射库，确定目标二维人体姿态对应的目标三维人体姿态，以恢复出人体在多个不同角度的多个目标三维人体姿态；将多个目标三维人体姿态组合为一个三维人体，构建出该人体的三维姿态。上述技术方案面对三维姿态数据集稀缺的问题，如野外场景下，无法有效构建人体的三维姿态。

发明内容

本发明主要解决原有的三维姿态估计数据集稀缺，监督学习在野外场景下不适用技术问题，提供一种基于原型分析的自监督多目三维人体姿态估计方法，通过使用可学习关节点预测置信度的网络结构对三维姿态进行重构，提高了重构结果的鲁棒性；运用原型分析方法构造出一组强大的三维姿态表示原型，利用该原型对三维姿态预测进行修正，实现了一种高效的三维姿态估计自监督算法，在构造三维姿态原型时只需要三维骨架信息，通过合成等方式直接构造出大量的三维姿态，进而方便地扩充原型的表征空间，提高了算法的自监督能力，实现了三维姿态估计网络的有效学习。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤

(1)标定相机参数并对多目图像进行预处理；

(2)构建Two-Stage的深度网络；

(3)构建3D-Pose-Refine模块。

作为优选，所述的步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数，预处理包括利用人体检测器获得的包围盒裁剪图像。

作为优选，所述的步骤2中构建Two-Stage的深度网络包括：