[发明专利]一种引入反馈机制的多RGB相机实时人体动作捕捉系统

说明书

本发明提出了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，主要包括平台搭建、数据处理、姿态重建及反馈优化等步骤，结合深度学习的技术来完成人体姿态的估计，通过引入人体线性蒙皮模型以及人手检测器，对于末端交互关节的检测分辨率大大提升，从而提高了严重遮挡下的交互性能。通过引入反馈机制，将上一帧的人体模型渲染到当前帧并进行腐蚀膨胀处理，得到当前帧的启发式算法的一个合理初值，并且引入了三维的可见性信息，避免了歧义性，从而可以提高算法的收敛速度和精度，从而完成一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。

技术领域

本发明涉及到计算机视觉人体动作捕捉技术领域，尤其涉及到一种引入反馈机制的多RGB相机实时人体动作捕捉系统。

背景技术

随着计算机计算能力的提高以及图形卡的不断迭代，深度学习技术得以迅猛发展，极大地推动了计算机视觉领域。目前的重建技术主要分为两种，一种是利用普通的RGB相机，通过多目特征点匹配并三角化得到深度信息，另一种是直接利用深度相机，得到深度图进行重建，比如苹果公司发布的新iPhoneX就搭载了一颗深度相机来完成人脸重建，把这种技术推向消费领域。

但相对于RGB相机，深度相机的缺点有受环境光干扰大，深度检测距离有限等，价格昂贵等，因此利用普及率高的RGB相机进行人体重建具有更大的潜力，主要可以应用在虚拟试衣，CG游戏等领域。而传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法，对环境要求很高，因此，我们结合了深度学习技术，有必要完成一个实时的无佩戴标记的人体重建系统，并且对于繁杂环境也具有鲁棒性。

发明内容

本发明的目的是为了克服现有技术的不足，提供了一种引入反馈机制的多RGB相机实时人体动作捕捉系统及系统。

本发明是通过以下技术方案实现：

本发明提供了一种引入反馈机制的多RGB相机实时人体动作捕捉系统，旨在利用多目RGB相机实时对人体动作进行捕捉重建，包括以下步骤：

S1：将多个相机架围出捕捉区域，并对各个相机进行参数标定；

S2：通过标定好的多个相机采集捕捉人体动作图像，并将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片；

S3：利用转码缩放的RGB图片完成单目的人体姿态估计；

S4：通过单目的人体姿态估计得到人体各个关节的关节热点图和关节亲和图，对关节热点图进行非极大值抑制边缘检测得到各个关节坐标；

S5：利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节热点图、关节亲和图和上一帧三维结果的时域约束，构造出稀疏4D图；

S6：利用启发式算法对4D图进行分割，得到人体在各个视角下的2D关节坐标，再利用相机参数对各个视角下匹配关节的坐标进行三角化，得到三维人体骨架及三维关节坐标；

S7：将三维人体骨架的手部关节投影到各个相机图片上构造一个跟踪序列，第一帧通过尺度信息和二维投影关系得到人手对应的矩形ROI区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，接下来通过人手姿态的PCA系数计算出二维人手位置，继而修正矩形ROI区域的误差以便于跟踪；

S8：对不同视角的人手检测结果进行去噪，即通过多视角几何信息和PCA系数之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值，去噪后得到的人手参数；

S9：使用得到的三维关节坐标和人手参数拟合出三维人体模型，即将求解结果转换为线性蒙皮模型的关节点和表面点约束，并用高斯牛顿法迭代交替优化参数模型，同时添加高斯混合模型作为正则项；