[发明专利]一种引入反馈机制的多RGB相机实时人体动作捕捉系统

权利要求书

1.一种引入反馈机制的多RGB相机实时人体动作捕捉系统，旨在利用多目RGB相机实时对人体动作进行捕捉重建，其特征在于，包括以下步骤：

S1：将多个相机架围出捕捉区域，并对各个相机进行参数标定；

S2：通过标定好的多个相机采集捕捉人体动作图像，并将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片；

S3：利用转码缩放的RGB图片完成单目的人体姿态估计；

S4：通过单目的人体姿态估计得到人体各个关节的关节热点图和关节亲和图，对关节热点图进行非极大值抑制边缘检测得到各个关节坐标；

S5：利用多目信息的极线约束对单目的检测结果进行约束，得到人体在各个视角下的二维关节坐标，通过对极几何约束以及关节热点图、关节亲和图和上一帧三维结果的时域约束，构造出稀疏4D图；

S6：利用启发式算法对4D图进行分割，得到人体在各个视角下的2D关节坐标，再利用相机参数对各个视角下匹配关节的坐标进行三角化，得到三维人体骨架及三维关节坐标；

S7：将三维人体骨架的手部关节投影到各个相机图片上构造一个跟踪序列，第一帧通过尺度信息和二维投影关系得到人手对应的矩形ROI区域，使用人手检测器对人手参数进行估计，得到人手姿态的PCA系数和仿射关系，接下来通过人手姿态的PCA系数计算出二维人手位置，继而修正矩形ROI区域的误差以便于跟踪；

S8：对不同视角的人手检测结果进行去噪，即通过多视角几何信息和PCA系数之间的F范数构造不同视角检测结果之间的距离，从而计算拉普拉斯矩阵，再通过SVD分解得到其最大的特征值，去噪后得到的人手参数；

S9：使用得到的三维关节坐标和人手参数拟合出三维人体模型，即将求解结果转换为线性蒙皮模型的关节点和表面点约束，并用高斯牛顿法迭代交替优化参数模型，同时添加高斯混合模型作为正则项；

S10：引入一个反馈，用当前帧的三维人体模型作为下一帧的骨架优化的先验，将优化后的三维人体模型重新投影回各个视角下，渲染出和各个视角对齐的缩略MASK图，得到可视性信息，并对缩略MASK图进行类腐蚀膨胀处理；

S11：在下一帧再次执行步骤S6时，可以直接先利用经过处理的缩略MASK图进行分配结果的初始化，以保证系统的鲁棒性。

2.如权利要求1所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，所述相机为多目RGB工业相机。

3.如权利要求2所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，对所述相机进行参数标定时，标定的参数包括相机内参和相机外参。

4.如权利要求3所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，对所述相机进行参数标定时，利用棋盘格和matlab工具箱进行标定。

5.如权利要求4所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，所述相机架设的个数为4-8个，且呈矩形状围出捕捉区域。

6.如权利要求5所述的引入反馈机制的多RGB相机实时人体动作捕捉系统，其特征在于，将采集捕捉的人体动作图像传输到电脑主机转码缩放成三通道RGB矩阵形式的RGB图片时，加上伽马校正来提高图像质量。