[发明专利]一种引入反馈机制的多RGB相机实时人体动作捕捉系统

摘要

本发明提出了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，主要包括平台搭建、数据处理、姿态重建及反馈优化等步骤，结合深度学习的技术来完成人体姿态的估计，通过引入人体线性蒙皮模型以及人手检测器，对于末端交互关节的检测分辨率大大提升，从而提高了严重遮挡下的交互性能。通过引入反馈机制，将上一帧的人体模型渲染到当前帧并进行腐蚀膨胀处理，得到当前帧的启发式算法的一个合理初值，并且引入了三维的可见性信息，避免了歧义性，从而可以提高算法的收敛速度和精度，从而完成一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。