[发明专利]一种基于稀疏和深度的3D人体姿态估计方法

说明书

本发明公开了一种基于稀疏和深度的3D人体姿态估计方法，在给定2D姿态数据的前提下，通过以下两个角度提高单目视频的3D人体姿态估计精度：一是，通过先验知识从给定的2D姿态得到较为合理的单帧3D姿态映射；二是，利用视频帧间的时间相关性约束估计优化的3D姿态；利用预学习的3D姿态字典得到最优的3D姿态表示，可以有效消除2D姿态到3D姿态求解结果的任意性，在2D关节点缺失时保证该模型仍然可靠；本发明提出的带有残差结构的MLSTM降噪编/解码器模型，能够保持连续帧的3D姿态在空间结构上和时间上的一致性，缓解每帧的独立误差造成的估计序列在时间上不连贯的问题，进一步提高3D姿态估计的精度。

技术领域

本发明涉及一种3D人体姿态估计技术，尤其是涉及一种基于稀疏和深度的3D人体姿态估计方法。

背景技术

现实场景中绝大多数对于人类姿态的描述都是二维的，例如图像或视频。从单目图像或视频中估计其对应的3D人体姿态对于高级计算机视觉任务来说，如人机交互，视频监控，虚拟现实和人体行为分析等，有着重要且广泛的应用。然而，从单目图像或视频中估计3D人体姿态极具挑战性：首先，从单目图像或视频中重构3D人体姿态本身是一个病态问题。几何角度上讲，从单视角下估计人体3D的姿态存在着固有的任意性(Lee H J,ChenZ.Determination of 3D human body postures from a single view[J].ComputerVision,Graphics,and Image Processing,1985,30(2):148-168.)，也就是说，根据2D姿态能够得到的3D姿态并不是唯一的。此外，人体姿态的丰富性以及在3D姿态估计过程中存在类内可变性、非刚体形变等问题，使3D姿态估计问题变得极其复杂。并且，在姿态估计过程中含有大量的变化参数，比如光照、摄像机位置参数等，同时也存在场景遮挡以及人体自我遮挡等因素。

早期的3D人体姿态估计方法(Mori G,Malik J.Recovering 3d human bodyconfigurations using shape contexts[J].IEEE Transactions on Pattern AnalysisMachine Intelligence,2006；Bo L,Sminchisescu C,Kanaujia A,et al.Fastalgorithms for large scale conditional 3D prediction[C]//IEEE Conference onComputer VisionPattern Recognition.IEEE,2008.)主要是从图像中提取人物的不变性特征，如肤色，纹理，轮廓等，并将其映射成3D人体姿态。近几年的工作通常将3D估计解耦为两步进行处理(Martinez J,Hossain R,Romero J,et al.A simple yet effectivebaseline for 3d human pose estimation[J].2017.)：(1)利用2D姿态估计网络获取图像中人体的2D姿态特征；(2)将获取的2D特征表达向3D空间映射，获得对应3D空间下的人体姿态。将姿态估计分解为这两步，目的是通过现有的2D姿态估计网络，消除图像中光照，背景等因素对后续3D估计的影响。在深度学习的影响下，基于图像的2D姿态估计在近几年发展迅速，许多工作实现了利用卷积神经网络(CNN)来回归图像中2D关节位置的置信热图，得到2D人体姿态。这在一定程度上促进了3D姿态估计的发展，同时也提高了3D姿态估计的性能。